AWS 推出 Amazon Redshift Spectrum
西雅圖--(他們?cè)?Amazon Simple Storage Service (Amazon S3) 中的數(shù)據(jù)。借助 Redshift Spectrum,客戶可以將 Amazon Redshift 的分析能力擴(kuò)展到存儲(chǔ)在其數(shù)據(jù)倉(cāng)庫(kù)中本地磁盤上的數(shù)據(jù)之外,以查詢其 Amazon S3“數(shù)據(jù)湖”中的大量非結(jié)構(gòu)化數(shù)據(jù),而無(wú)需加載或轉(zhuǎn)換任何數(shù)據(jù)。 Redshift Spectrum 應(yīng)用復(fù)雜的查詢優(yōu)化,跨數(shù)千個(gè)節(jié)點(diǎn)擴(kuò)展處理,因此結(jié)果很快——即使是大型數(shù)據(jù)集和復(fù)雜查詢。要開始使用 Redshift Spectrum,請(qǐng)?jiān)L問(wèn) 。
Amazon Redshift 是 AWS 增長(zhǎng)最快的服務(wù)之一,因?yàn)樗试S客戶對(duì)存儲(chǔ)在高性能本地磁盤上的 PB 級(jí)結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜的查詢,并獲得超快的性能——所有這些成本僅為傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的十分之一。然而,隨著數(shù)據(jù)存儲(chǔ)成本的持續(xù)下降,客戶越來(lái)越多地將大量數(shù)據(jù)存儲(chǔ)在 Amazon S3“數(shù)據(jù)湖”中,包括可能永遠(yuǎn)不會(huì)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的非結(jié)構(gòu)化數(shù)據(jù)。現(xiàn)在,借助 Redshift Spectrum,分析所有這些數(shù)據(jù)就像運(yùn)行標(biāo)準(zhǔn) Amazon Redshift SQL 查詢一樣簡(jiǎn)單。 Redshift Spectrum 使用客戶已經(jīng)使用的開放數(shù)據(jù)格式(包括 CSV、TSV、Parquet、Sequence 和 RCFile)直接查詢 Amazon S3 中的數(shù)據(jù),無(wú)需加載或轉(zhuǎn)換。由于 Redshift Spectrum 支持與 Amazon Redshift 相同的 SQL 語(yǔ)法,因此客戶可以使用他們現(xiàn)在使用的相同商業(yè)智能 (BI) 工具運(yùn)行復(fù)雜的查詢。他們還可以運(yùn)行查詢,這些查詢涵蓋本地存儲(chǔ)在 Amazon Redshift 中的經(jīng)常訪問(wèn)的數(shù)據(jù),以及經(jīng)濟(jì)高效地存儲(chǔ)在 Amazon S3 中的完整數(shù)據(jù)集。 Redshift Spectrum 會(huì)根據(jù)正在檢索的數(shù)據(jù)自動(dòng)擴(kuò)展查詢計(jì)算容量,因此針對(duì) Amazon S3 數(shù)據(jù)的查詢運(yùn)行速度很快,無(wú)論是處理幾 TB、PB 甚至是 EB 數(shù)據(jù)。
“客戶包括 Amgen、Boingo Wireless、Electronic Arts、Hearst、Lyft、Nasdaq、Scholastic、TripAdvisor 和 Yahoo!正在成群結(jié)隊(duì)地遷移到 Amazon Redshift,因?yàn)樗?AWS 的規(guī)模來(lái)分析 PB 級(jí)的數(shù)據(jù),其性能是老式數(shù)據(jù)倉(cāng)庫(kù)的十分之一,性能是其十倍。其中許多客戶要求我們將 Amazon Redshift 的速度和靈活性擴(kuò)展到數(shù)據(jù)倉(cāng)庫(kù)之外,以分析他們?cè)?Amazon S3 中的所有數(shù)據(jù),”AWS 數(shù)據(jù)庫(kù)、分析和人工智能副總裁 Raju Gulabani 說(shuō)。 “ Redshift Spectrum 正是這樣做的,它通過(guò)讓直接從 Amazon Redshift 查詢 Amazon S3 中的 EB 級(jí)數(shù)據(jù)變得異常簡(jiǎn)單,從而提供了兩全其美的優(yōu)勢(shì)。我們很高興現(xiàn)在能夠快速、簡(jiǎn)單地為各種規(guī)模的公司提供 EB 級(jí)分析。”
總部位于東京的 NTT DOCOMO 是日本最大的移動(dòng)服務(wù)提供商,為超過(guò) 6800 萬(wàn)客戶提供服務(wù)。 “我們的數(shù)據(jù)分析平臺(tái)每天從各種內(nèi)部和外部來(lái)源收集數(shù)十 TB 的日志數(shù)據(jù),以幫助我們改善物流和營(yíng)銷運(yùn)營(yíng)。 NTT DOCOMO 高級(jí)副總裁兼創(chuàng)新管理部總經(jīng)理 Mick Etoh 說(shuō),兩年前遷移到 Amazon Redshift 使我們能夠擴(kuò)展到超過(guò) 10 PB 的未壓縮數(shù)據(jù),性能比之前的本地系統(tǒng)提高了 10 倍. “隨著時(shí)間的推移,Redshift Spectrum 將使我們能夠?qū)⒎治龅臄?shù)據(jù)范圍擴(kuò)展到 100 PB。這確實(shí)改變了游戲規(guī)則,我們想不出世界上沒(méi)有其他系統(tǒng)可以讓我們到達(dá)那里。”
Time Inc. 是一家領(lǐng)先的內(nèi)容公司,每月通過(guò)其跨平臺(tái)的優(yōu)質(zhì)品牌組合吸引超過(guò) 1.5 億消費(fèi)者。 “作為一家媒體公司,我們從許多廣告服務(wù)提供商那里收到大量數(shù)據(jù)。這些數(shù)據(jù)有多種格式,需要與我們自己的內(nèi)部系統(tǒng)集成,以便我們的團(tuán)隊(duì)能夠?qū)ζ溥M(jìn)行分析,”時(shí)代公司數(shù)據(jù)架構(gòu)和工程總監(jiān) Vladimir Barkov 說(shuō)。“ Redshift Spectrum 使我們能夠直接在 Amazon S3 中以本機(jī)格式對(duì)我們的數(shù)據(jù)進(jìn)行操作,而無(wú)需預(yù)處理或轉(zhuǎn)換。現(xiàn)在,我們的數(shù)據(jù)管道更加簡(jiǎn)單,我們的執(zhí)行時(shí)間也大大縮短了。”
Edmunds 向每月 2000 萬(wàn)訪問(wèn)者提供有關(guān)車輛的詳細(xì)、不斷更新的信息。 “與我們之前的本地?cái)?shù)據(jù)倉(cāng)庫(kù)解決方案不同,Amazon Redshift 的可擴(kuò)展性使我們能夠支持不斷增長(zhǎng)的數(shù)據(jù)量,”Edmunds 運(yùn)營(yíng)和基礎(chǔ)設(shè)施執(zhí)行總監(jiān) Ajit Zadgaonkar 說(shuō)。 “使用 Redshift Spectrum,我們不再需要考慮保留哪些數(shù)據(jù)進(jìn)行分析以及丟棄哪些數(shù)據(jù)。我們現(xiàn)在可以直接對(duì)存儲(chǔ)在 Amazon S3 中多年的數(shù)據(jù)運(yùn)行真正的 SQL 查詢。 Redshift Spectrum 在海量數(shù)據(jù)集上的快速性能是前所未有的。”
Redfin 是下一代房地產(chǎn)經(jīng)紀(jì)公司,將其自身的全方位服務(wù)代理與現(xiàn)代技術(shù)相結(jié)合,在美國(guó) 80 多個(gè)大都市重新定義房地產(chǎn),使其有利于消費(fèi)者。 “我們的網(wǎng)站和內(nèi)部系統(tǒng)擁有數(shù)百萬(wàn)用戶和數(shù)億房產(chǎn)列表,產(chǎn)生大量數(shù)據(jù)。我們的數(shù)據(jù)分析平臺(tái)是在 AWS 上從頭開始構(gòu)建的,使用 Amazon S3 進(jìn)行存儲(chǔ),使用 Amazon Kinesis 進(jìn)行流式傳輸,使用 Amazon EMR 進(jìn)行數(shù)據(jù)處理和實(shí)時(shí)應(yīng)用程序,以及使用 Amazon Redshift 進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)。” Redfin 的大數(shù)據(jù)和分析。 “我們喜歡 Redshift Spectrum,因?yàn)樗试S我們直接、靈活地查詢來(lái)自許多不同復(fù)雜管道的許多不同文件格式的最新數(shù)據(jù)。我們使用 Amazon EMR 的數(shù)據(jù)科學(xué)團(tuán)隊(duì)現(xiàn)在可以與我們的營(yíng)銷和產(chǎn)品團(tuán)隊(duì)協(xié)作,使用 Redshift Spectrum 分析相同的 Amazon S3 數(shù)據(jù)集。”Yelp 將人們與當(dāng)?shù)貎?yōu)秀企業(yè)聯(lián)系起來(lái),并為他們提供 32 個(gè)國(guó)家/地區(qū)的深入評(píng)論。 “截至 2016 年 12 月 31 日,Yelp 每天在我們的 2400 萬(wàn)平均每月移動(dòng)應(yīng)用獨(dú)立用戶、6500 萬(wàn)平均每月移動(dòng)網(wǎng)絡(luò)獨(dú)立訪問(wèn)者和 7300 萬(wàn)平均每月桌面獨(dú)立訪問(wèn)者中產(chǎn)生數(shù)十億個(gè)分析事件。我們向移動(dòng)的轉(zhuǎn)變強(qiáng)調(diào)了我們的Yelp 軟件工程團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人 Justin Cunningham 說(shuō),因?yàn)槲覀兊囊苿?dòng)應(yīng)用程序用戶的參與度是我們網(wǎng)站用戶的十倍。 “ Redshift Spectrum 解鎖了對(duì)我們的 Amazon S3 數(shù)據(jù)的分析訪問(wèn),將大型數(shù)據(jù)集的洞察時(shí)間縮短至幾秒。它將支持比我們今天提供的更多用例——多個(gè)團(tuán)隊(duì)現(xiàn)在可以使用 Amazon Redshift 和 Amazon EMR 查詢相同的 Amazon S3 數(shù)據(jù)集。”
Recruit Technologies 在日本經(jīng)營(yíng)著一些最受歡迎的媒體品牌和廣告資產(chǎn)。 “我們由 Recruit 的子公司提供的網(wǎng)絡(luò)和移動(dòng)資產(chǎn)每天產(chǎn)生數(shù)十億個(gè)事件,我們分析這些事件以改進(jìn)我們的業(yè)務(wù),包括營(yíng)銷、業(yè)務(wù)規(guī)劃和產(chǎn)品增強(qiáng)。我們于 2015 年遷移到 Amazon Redshift,以跟上我們業(yè)務(wù)中數(shù)據(jù)爆炸的步伐,”Recruit Technologies 數(shù)據(jù)管理部門經(jīng)理 Satoshi Honmura 說(shuō)。 “ Redshift Spectrum 將幫助我們進(jìn)一步擴(kuò)展,同時(shí)降低我們的成本。現(xiàn)在,我們的數(shù)據(jù)科學(xué)家可以針對(duì) Amazon S3 中多年的歷史數(shù)據(jù)運(yùn)行復(fù)雜的查詢,只需為他們運(yùn)行的查詢付費(fèi),而我們的數(shù)百名業(yè)務(wù)用戶可以繼續(xù)使用 Redshift 本地存儲(chǔ)來(lái)針對(duì)更新的數(shù)據(jù)提供極快的性能。 ”
客戶可以通過(guò) AWS 管理控制臺(tái)開始使用 Redshift Spectrum。 Amazon Redshift Spectrum 在美國(guó)東部(弗吉尼亞北部)、美國(guó)東部(俄亥俄)和美國(guó)西部(俄勒岡)區(qū)域可用,并將在未來(lái)幾個(gè)月擴(kuò)展到其他區(qū)域。
關(guān)于亞馬遜網(wǎng)絡(luò)服務(wù)
11 年來(lái),Amazon Web Services 一直是世界上最全面、應(yīng)用最廣泛的云平臺(tái)。 AWS 為計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、分析、應(yīng)用程序服務(wù)、部署、管理、開發(fā)人員、移動(dòng)、物聯(lián)網(wǎng) (IoT)、人工智能 (AI)、安全、混合和企業(yè)應(yīng)用程序提供 90 多項(xiàng)功能齊全的服務(wù),來(lái)自美國(guó)、澳大利亞、巴西、加拿大、中國(guó)、德國(guó)、印度、愛爾蘭、日本、韓國(guó)、新加坡和英國(guó) 16 個(gè)地理區(qū)域的 42 個(gè)可用區(qū) (AZ)。 AWS 服務(wù)受到全球數(shù)百萬(wàn)活躍客戶的信賴——包括發(fā)展最快的初創(chuàng)公司、最大的企業(yè)和領(lǐng)先的政府機(jī)構(gòu)——為他們的基礎(chǔ)設(shè)施提供支持、使其更加敏捷并降低成本。
關(guān)于亞馬遜
亞馬遜遵循四項(xiàng)原則:以客戶為中心而非以競(jìng)爭(zhēng)對(duì)手為中心、對(duì)發(fā)明的熱情、對(duì)卓越運(yùn)營(yíng)的承諾以及長(zhǎng)期思考。客戶評(píng)論、一鍵購(gòu)物、個(gè)性化推薦、Prime、亞馬遜物流、AWS、Kindle Direct Publishing、Kindle、Fire 平板電腦、Fire TV、亞馬遜 Echo 和 Alexa 是亞馬遜率先推出的一些產(chǎn)品和服務(wù)。欲了解更多信息,請(qǐng)?jiān)L問(wèn)并關(guān)注@AmazonNews。
點(diǎn)擊咨詢現(xiàn)在有哪些新興平臺(tái)值得關(guān)注 >>>
特別聲明:以上文章內(nèi)容僅代表作者本人觀點(diǎn),不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號(hào)密碼登錄
平臺(tái)顧問(wèn)
微信掃一掃
馬上聯(lián)系在線顧問(wèn)
小程序
ESG跨境小程序
手機(jī)入駐更便捷
返回頂部