西雅圖--今天，Amazon.com 旗下公司（納斯達(dá)克股票代碼：AMZN）推出了 AWS Glue，這是一種完全托管的提取、轉(zhuǎn)換和加載 (ETL) 服務(wù)，使客戶可以輕松準(zhǔn)備數(shù)據(jù)并將其加載到 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Relational Database Service (Amazon RDS) 以及在 Amazon Elastic Compute Cloud (Amazon EC2) 上運(yùn)行的數(shù)據(jù)庫(kù)中進(jìn)行查詢和分析。客戶只需在 AWS 管理控制臺(tái)中單擊幾下即可創(chuàng)建和運(yùn)行 ETL 作業(yè)。客戶只需將 AWS Glue 指向其存儲(chǔ)在 AWS 上的數(shù)據(jù)，AWS Glue 就會(huì)發(fā)現(xiàn)相關(guān)的元數(shù)據(jù)（例如表定義）并對(duì)其進(jìn)行分類，生成用于數(shù)據(jù)轉(zhuǎn)換的 ETL 腳本，并將轉(zhuǎn)換后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)存儲(chǔ)中，從而預(yù)置所需的基礎(chǔ)設(shè)施完成工作。借助 AWS Glue，數(shù)據(jù)可以在幾分鐘內(nèi)用于分析，而且由于 AWS Glue 是無服務(wù)器的，因此客戶只需為執(zhí)行數(shù)據(jù)準(zhǔn)備和加載作業(yè)時(shí)消耗的計(jì)算資源付費(fèi)。要了解有關(guān) AWS Glue 的更多信息，請(qǐng)?jiān)L問 。

“我們從各種數(shù)據(jù)源中提取格式、模式和質(zhì)量各不相同的臨床試驗(yàn)數(shù)據(jù)、醫(yī)學(xué)詞匯和科學(xué)出版物，以便為我們的客戶提供見解”

數(shù)據(jù)集成——從各種來源提取數(shù)據(jù)、對(duì)其進(jìn)行規(guī)范化并將其加載到數(shù)據(jù)存儲(chǔ)中——通常占實(shí)施分析項(xiàng)目所需時(shí)間的 75%。客戶可能會(huì)花費(fèi)數(shù)月時(shí)間手動(dòng)編碼和編輯 ETL 腳本，隨著數(shù)據(jù)量的增長(zhǎng)和新數(shù)據(jù)源的添加，這些腳本通常會(huì)變得更加復(fù)雜和容易出錯(cuò)。而且，運(yùn)行 ETL 作業(yè)需要在作業(yè)之間經(jīng)常閑置的專用硬件。 AWS Glue 消除了創(chuàng)建、管理和修改 ETL 作業(yè)所涉及的所有無差別繁重工作，從而顯著加快了分析項(xiàng)目的 ETL 階段。

在抓取客戶選擇的數(shù)據(jù)源后，AWS Glue 識(shí)別數(shù)據(jù)格式和架構(gòu)以構(gòu)建統(tǒng)一的數(shù)據(jù)目錄，提供客戶選擇數(shù)據(jù)的集中視圖。這使客戶可以輕松地在各種數(shù)據(jù)存儲(chǔ)中搜索和管理他們的所有數(shù)據(jù)，而無需手動(dòng)移動(dòng)它。當(dāng)客戶從數(shù)據(jù)目錄中識(shí)別出數(shù)據(jù)源（例如，數(shù)據(jù)庫(kù)表）和目標(biāo)（例如，數(shù)據(jù)倉(cāng)庫(kù)）時(shí)，AWS Glue 會(huì)匹配架構(gòu)并生成可定制、可重用、可移植和可共享的數(shù)據(jù)轉(zhuǎn)換代碼。開發(fā)人員可以安排任意數(shù)量的 ETL 作業(yè)，其余的由 AWS Glue 管理——根據(jù)客戶 ETL 工作負(fù)載自動(dòng)調(diào)整計(jì)算資源。通過簡(jiǎn)化創(chuàng)建 ETL 作業(yè)的流程，AWS Glue 允許客戶構(gòu)建涵蓋數(shù)千個(gè)作業(yè)的可擴(kuò)展且可靠的數(shù)據(jù)準(zhǔn)備平臺(tái)，并具有內(nèi)置的依賴關(guān)系解析、調(diào)度、資源管理和監(jiān)控功能。

“AWS 的可擴(kuò)展、可靠的云存儲(chǔ)與我們廣泛的分析服務(wù)相結(jié)合，使客戶能夠比以往更輕松地收集、存儲(chǔ)、分析和共享數(shù)據(jù)，”亞馬遜數(shù)據(jù)庫(kù)、分析和人工智能副總裁 Raju Gulabani 說網(wǎng)頁(yè)服務(wù)。 “雖然看到今天在 AWS 上運(yùn)行了多少分析令人驚訝，但許多人告訴我們，有一個(gè)方程式仍然太難了——清理和準(zhǔn)備大量數(shù)據(jù)以供分析。我們開發(fā) AWS Glue 以消除 ETL 所涉及的大部分無差別繁重工作。通過對(duì)客戶的所有數(shù)據(jù)進(jìn)行編目并自動(dòng)執(zhí)行 ETL 流程，AWS Glue 不僅消除了分析中的大量麻煩。它還使客戶能夠?qū)⑺麄兊臄?shù)據(jù)存儲(chǔ)在他們想要的任意數(shù)量的來源中，并使用他們選擇的任何 AWS 服務(wù)快速開始分析所有數(shù)據(jù)。”

NewsCorp 是一家全球性的新聞和商業(yè)信息提供商，每天向 50 多個(gè)國(guó)家/地區(qū)的數(shù)億消費(fèi)者提供內(nèi)容。 “在 NewsCorp，我們正在 AWS 上構(gòu)建一個(gè)世界級(jí)的數(shù)字平臺(tái)，以向我們的外部客戶分發(fā)內(nèi)容，并促進(jìn)我們所有業(yè)務(wù)的數(shù)據(jù)驅(qū)動(dòng)決策。我們合并來自各種來源的數(shù)據(jù)，并將其持續(xù)加載到我們基于 Amazon S3 的數(shù)據(jù)湖中，”NewsCorp 首席數(shù)據(jù)官 Simon Smith 說。 “AWS Glue 在推斷、分類和轉(zhuǎn)換數(shù)據(jù)的能力方面無與倫比。借助 AWS Glue，我們的數(shù)據(jù)科學(xué)家和分析師始終可以訪問我們數(shù)據(jù)湖中可用的最新數(shù)據(jù)。 AWS Glue 數(shù)據(jù)目錄會(huì)自動(dòng)檢測(cè)新數(shù)據(jù)的可用性，推斷其元數(shù)據(jù)并使其在 Amazon Athena 中隨時(shí)可用，以便我們可以開始查詢?cè)摂?shù)據(jù)。我們的 AWS Glue ETL 作業(yè)將各種數(shù)據(jù)格式的原始數(shù)據(jù)無縫轉(zhuǎn)換為 Amazon Athena 優(yōu)化的 Parquet 數(shù)據(jù)格式。最好的部分是 AWS Glue 是無服務(wù)器的。我們不必提供或管理任何資源來準(zhǔn)備分析數(shù)據(jù)。”

21 世紀(jì)福克斯擁有全球媒體公司組合，每天以 50 種語言覆蓋超過 18 億戶家庭。 “作為我們整體數(shù)據(jù)戰(zhàn)略的一部分，我們正在 Amazon S3 上構(gòu)建 PB 級(jí)數(shù)據(jù)湖，以便我們的高管可以通過統(tǒng)一的數(shù)據(jù)平臺(tái)訪問任何數(shù)據(jù)資產(chǎn)。我們從各種來源引入數(shù)據(jù)，從我們的 ERP 系統(tǒng)到點(diǎn)擊流和移動(dòng)分析，對(duì)其進(jìn)行處理，并以可查詢的形式提供，”21 世紀(jì)福克斯全球首席信息官 John Herbert 說。 “我們總是有興趣嘗試新產(chǎn)品，以減少管理數(shù)據(jù)湖的管理開銷。 AWS Glue 自動(dòng)發(fā)現(xiàn)新數(shù)據(jù)、提取相關(guān)元數(shù)據(jù)并通過中央數(shù)據(jù)目錄使其可用的能力給我們留下了深刻印象，因此我們可以立即開始查詢這些數(shù)據(jù)。我們期待著讓 AWS Glue 成為我們數(shù)據(jù)湖的一個(gè)組件。”

myTomorrows 是一個(gè)在線平臺(tái)，以臨床試驗(yàn)和早期訪問計(jì)劃的形式提供信息和治療選擇。 “我們從各種數(shù)據(jù)源中提取格式、模式和質(zhì)量各不相同的臨床試驗(yàn)數(shù)據(jù)、醫(yī)學(xué)詞匯和科學(xué)出版物，以便為我們的客戶提供洞察力，”myTomorrows 首席技術(shù)官 Robert-Jan Sips 說。 “AWS Glue 的自動(dòng)架構(gòu)發(fā)現(xiàn)和代碼生成功能對(duì)于像我們這樣快速發(fā)展的小型組織來說確實(shí)是游戲規(guī)則的改變者。 AWS Glue 使載入新數(shù)據(jù)集變得極其簡(jiǎn)單且經(jīng)濟(jì)高效，其無服務(wù)器產(chǎn)品使測(cè)試和運(yùn)行我們的 ETL 作業(yè)變得輕而易舉。我們的開發(fā)人員喜歡他們可以簡(jiǎn)單地將筆記本連接到 AWS Glue，并且無需任何加速時(shí)間即可開始工作。”

OLX 集團(tuán)在 40 多個(gè)國(guó)家運(yùn)營(yíng)在線交易平臺(tái)網(wǎng)絡(luò)，在全球擁有超過 3 億月度用戶。 “我們將所有在線市場(chǎng)的數(shù)十億每月訪問和頁(yè)面瀏覽量的點(diǎn)擊流數(shù)據(jù)收集到 Amazon S3 上的中央數(shù)據(jù)湖中。我們一直在尋找能夠使我們的數(shù)據(jù)攝取管道穩(wěn)健、可靠和自動(dòng)化的產(chǎn)品，”O(jiān)LX 數(shù)據(jù)工程經(jīng)理 Jakub Orlowski 說。 “我們抓住了第一次開始使用 AWS Glue 的機(jī)會(huì)，并且喜歡它的易用性、靈活性和零管理開銷。 AWS Glue 自動(dòng)將我們數(shù)據(jù)湖中的原始 JSON 數(shù)據(jù)轉(zhuǎn)換為 Parquet 數(shù)據(jù)格式，并通過中央數(shù)據(jù)目錄使其可用于搜索和查詢。我們可以使用 Zeppelin 筆記本編輯 AWS Glue 生成的 ETL 代碼，一旦完成，AWS Glue 就會(huì)在無服務(wù)器 Spark 平臺(tái)上運(yùn)行所有內(nèi)容。 AWS Glue 將使我們能夠?qū)⑽覀兊臄?shù)據(jù)創(chuàng)新和民主化努力提升到一個(gè)新的水平，并使數(shù)據(jù)生產(chǎn)者和消費(fèi)者比以往任何時(shí)候都更加緊密。”

OST 是 APN 合作伙伴，在為連接產(chǎn)品構(gòu)建企業(yè)云解決方案方面擁有專業(yè)知識(shí)，正在與全球最大的辦公家具制造商之一 Herman Miller 合作，將物聯(lián)網(wǎng)和大數(shù)據(jù)帶入工作場(chǎng)所。 “我們正在與 Herman Miller 合作開發(fā)物聯(lián)網(wǎng)平臺(tái)和分析解決方案，以從支持傳感器的家具中收集實(shí)時(shí)數(shù)據(jù)，在數(shù)據(jù)湖中對(duì)其進(jìn)行分類，然后運(yùn)行機(jī)器學(xué)習(xí)算法。辦公室員工受益于即時(shí)的人體工程學(xué)調(diào)整，雇主可以衡量其空間的有效性，以實(shí)現(xiàn)最佳的房地產(chǎn)使用，”O(jiān)ST 高級(jí)建筑師 Alex Jantz 說。 “AWS Glue 幫助我們將 DevOps 時(shí)間縮短了一半。我們從一個(gè)自動(dòng)生成的腳本開始，然后根據(jù)需要使用 Zeppelin 筆記本對(duì)其進(jìn)行自定義。 AWS Glue 完全重新定義了我們對(duì) ETL 的看法。我們只關(guān)注自定義代碼，其余的由 AWS Glue 負(fù)責(zé)。”

客戶可以通過 AWS 管理控制臺(tái)開始使用 AWS Glue。 AWS Glue 在美國(guó)東部（弗吉尼亞北部）區(qū)域可用，并將在未來幾個(gè)月擴(kuò)展到其他區(qū)域。

關(guān)于亞馬遜網(wǎng)絡(luò)服務(wù)

11 年來，Amazon Web Services 一直是世界上最全面、應(yīng)用最廣泛的云平臺(tái)。 AWS 為計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、分析、應(yīng)用程序服務(wù)、部署、管理、開發(fā)人員、移動(dòng)、物聯(lián)網(wǎng) (IoT)、人工智能 (AI)、安全、混合和企業(yè)應(yīng)用程序提供 90 多項(xiàng)功能齊全的服務(wù)，來自美國(guó)、澳大利亞、巴西、加拿大、中國(guó)、德國(guó)、印度、愛爾蘭、日本、韓國(guó)、新加坡和英國(guó) 16 個(gè)地理區(qū)域的 44 個(gè)可用區(qū) (AZ)。 AWS 服務(wù)受到全球數(shù)百萬活躍客戶的信賴——包括增長(zhǎng)最快的初創(chuàng)公司、最大的企業(yè)和領(lǐng)先的政府機(jī)構(gòu)——為他們的基礎(chǔ)設(shè)施提供支持、使其更加敏捷并降低成本。

關(guān)于亞馬遜

亞馬遜遵循四項(xiàng)原則：以客戶為中心而非以競(jìng)爭(zhēng)對(duì)手為中心、對(duì)發(fā)明的熱情、對(duì)卓越運(yùn)營(yíng)的承諾以及長(zhǎng)期思考。客戶評(píng)論、一鍵購(gòu)物、個(gè)性化推薦、Prime、亞馬遜物流、AWS、Kindle Direct Publishing、Kindle、Fire 平板電腦、Fire TV、亞馬遜 Echo 和 Alexa 是亞馬遜率先推出的一些產(chǎn)品和服務(wù)。欲了解更多信息，請(qǐng)?jiān)L問并關(guān)注@AmazonNews。

點(diǎn)擊咨詢現(xiàn)在有哪些新興平臺(tái)值得關(guān)注 >>>

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。