阿里云實時計算Flink版IoT行業解決方案,阿里云flink實時計算

阿里云實時計算Flink版IoT行業解決方案

行業挑戰

物聯網(Internet of Things，以下簡寫為IoT)是互聯網、傳統電信網等資訊的承載體，能讓所有具備獨立功能的普通物體實現互聯互通的網絡。物聯網將現實世界數位化，應用范圍十分廣泛。物聯網拉近分散的資訊，統整物與物的數位信息，主要應用領域包括以下方面：運輸和物流領域、健康醫療領域、智慧環境(家庭、辦公、工廠)領域、個人和社會領域等，具有十分廣闊的市場應用前景。物聯網將智能感知、識別技術、網絡通信與普適計算等技術融合起來，被認為是繼計算機、互聯網、智能手機之后世界信息產業發展的下一個風口。

據IDC估計，到2020年物聯網將在全球范圍內產生1.46萬億美元的價值；而Chinaidr預測，屆時中國的物聯網市場規模將超過1.8萬億人民幣。人們普遍認為，中國將成為物聯網行業的主要參與者。得益于龐大的人口基數和低廉的芯片制造成本，中國將在推動全球物聯網市場增長上發揮重要的作用。

目前IoT行業在如下領域使用日趨廣泛和深入：

1.工業領域

工業領域是目前物聯網項目最多的應用領域，工業領域所涵蓋的能夠聯網的事物最豐富，比如印刷設備、車間機械、礦井與廠房等。

2.醫療領域

目前物聯網技術在醫療行業中的應用包括人員管理智能化、醫療過程智能化、供應鏈管理智能化、醫療廢棄物管理智能化以及健康管理智能化。最典型的應用就是可穿戴設備，這種幫助用戶實現個性化的自我健康管理的設備已經成為很多注重健康人士的新寵。

3.智能交通與車聯網

當前，物聯網應用于智能交通已見雛形，并具有極強的發展潛力。物聯網在智能交通的應用包括實時監控系統、自動收費系統、智能停車系統和實時車輛跟蹤系統，可以自動檢測并報告公路、橋梁的健康狀況，并能幫助交通運輸業緩解能耗、污染以及擁堵等問題。

4.智能家居

物聯網解決了智能家居中設備聯網的問題。國內已經有很多不同領域的廠商開始涉足智能家居行業，包括互聯網科技廠商、傳統家電廠商以及互聯網巨頭。智能電視、智能音箱等智能硬件也可以當做智能家居的控制中心和樞紐，“人工智能+物聯網”將掀起改變生活方式的狂潮。

5.智慧物流

智慧物流是把條形碼、射頻識別技術、傳感器、全球定位系統等物聯網技術，廣泛應用于物流業運輸、倉庫、配快遞、包裝、裝卸等環節。智慧物流的崛起離不開電商爆發的催化，更離不開物聯網技術的加持。

IoT時代的數據特征

物聯網傳感器不斷從大量連接的各種各樣的設備接收數據。隨著連接設備數量的增加，物聯網系統需要可擴展以適應數據流入。分析系統處理這些數據并提供有價值的分析報告，這些報告將給企業帶來競爭優勢。IoT大數據來源于物聯網設備傳感器產生的數據，與傳統大數據領域的數據特征不完全一樣，IoT大數據具有“6V”特點，如下所示：

容量（Volume）：數據量是判斷數據集為大數據、傳統的大規模或超大規模數據的一個決定性因素，使用物聯網設備產生的數據量比以前要多得多，明顯符合這一特點。**

速度（Velocity）：物聯網大數據產生和處理速率要足夠高，以支持實時大數據的可用性。鑒于這種高數據率，也證明了需要先進的工具和技術分析才能有效地運作。**

多樣性（Variety）：一般來說，大數據有不同的形式和類型。這可能包括結構化的、半結構化的和非結構化的數據。各種各樣的數據類型可以通過物聯網產生，如文本、音頻、視頻、傳感器數據等等。

真實性（Veracity）：真實性是指質量、一致性和數據的可信性，有真實性的數據才能進行準確的分析。這一點對于物聯網來說尤其重要，特別是那些群體感知數據。**

易變性（Variability）：這個屬性是指數據流的速率不同。由于物聯網應用的性質，不同的數據生成組件可能會有不一致的數據流。此外，在特定時間，一個數據源的數據加載速率可能不同。例如，利用物聯網傳感器的停車服務應用在高峰期的數據加載會達到峰值。**

價值（Value）：價值是指大數據轉化成為有用的信息和內容，為組織帶來競爭優勢。數據的價值的高度不僅僅取決于對數據的處理過程或服務，還取決于對待數據的方式。

針對以上IoT的數據特征，IoT相關大數據以及AI分析工具需要解決如下數據計算問題：

越來越多的實時數據需求：目前需要更多的實時數據來支持IoT設備分析、操控、管理。比如需要IoT設備數據進行實時化分析進而直接反饋到工業車床進行加工參數調整。

越來越多的半結構化、非結構化數據分析需求：越來越多的IoT設備產生半結構化、甚至非結構化數據，包括日志、圖片、音頻、視頻。這些都需要大數據以及AI相關分析工具進行分析處理。**

越來越多的智能化數據處理需求：大量圖片、音頻、視頻場景，需要使用AI增強的實時化處理工具進行分析處理，而非傳統的數據庫和大數據工具。**

由數據分析人工決策到數據計算反向控制生產鏈路：IoT的大數據分析從產生報表進而交給人工決策，逐步過渡到數據計算結果直接反向控制生產鏈路，節省人力決策的成本。

解決方案

阿里云實時計算Flink版是阿里云打造的基于Apache Flink的企業級系列產品，其底層技術引擎由Flink創始團隊提供的商業化產品Ververica Platform所驅動。針對IoT時代下大數據分析的需求，阿里云實時計算Flink版結合阿里云整個IaaS以及PaaS的基礎設施，能夠為IoT客戶解決如下問題：

數據實時化處理：阿里云實時計算Flink版具備低延遲、高吞吐、一致性等特點，非常適合IoT的實時化數據清洗、分析、處理的計算需求。

越來越多的半結構化、非結構化數據分析需求：具備結構化數據處理(分析、統計類計算處理)，提供包括SQL、TableAPI、PyFlink等高效API解決數據分析難題；同時實時計算Flink版提供包括DataStream的Flink底層API，針對非結構化的音頻、視頻等內容也能夠從容分析。

越來越多的智能化數據處理需求：提供流式數據底層框架，基于Flink開源API，用戶可以自由組合圖像、音頻、視頻處理算法包，提供靈活的智能化處理數據需求。

成功案例

協鑫光伏

引入阿里云飛天大數據平臺以來，光伏生產良品率已經提升了1個百分點，節省成本數千萬。

客戶簡介

協鑫光伏坐落在環境優美的蘇州工業園區，是全球領先的光伏材料制造商，硅片產品占國內流通硅片的70%，處于國內同行業龍頭地位。在技術研發、品質控制、自動化升級等方面也都處于較高水平。

通過多年對生產流程的優化，協鑫的生產效率和產品品質始終保持著行業領先，然而，他們漸漸感到如果繼續保持傳統的方式，可優化的空間將越來越小。對于追求卓越的協鑫人來說，生產品質提升的最后一公里要怎么走，這無疑是一個巨大的難題。蘇州協鑫光伏總經理曾表示：“未來蘇州協鑫的繼續突破還是要靠新技術和新產品。”

阿里云實時計算Flink版解決方案

智能制造的興起，將大數據分析引入到制造革命中。通過對生產數據的采集并上傳云端，能夠進行數據實時和長期分析，并對生產過程進行監控，分析生產流程中可優化的部分；監控影響產品質量的環節，對產品質量進行量化分析和提升；對設備情況進行預測，優化備本備件。

2016年協鑫光伏正式與阿里云合作，希望通過云計算、大數據等新一代信息技術推動內部管理升級、進一步提高市場競爭力。此次合作的主要目標是透明化生產、數據化管理以及良品率提升。具體包括：

低成本長期保存協鑫生產過程所有數據；

通過大數據分析，建立良品率預測模型；

通過大數據分析，建立關鍵參數監控模型，對生產過程監控和報警；

通過阿里云BI系統，對協鑫生產數據做多維度統計分析；

通過阿里云大屏技術，建立車間和事業部生產大屏看板等多方面內容。

整體技術框架可以分為三大部分，車間源數據、大數據存儲分析區，以及業務區。具體包括數據上云、關鍵參數

監控模型、關鍵及全量參數標準曲線模型、生產過程監控報警、良品率預測、備件損耗分析、大屏看板、BI分析。

客戶收益

經過項目一期的實施，每年節省成本數千萬。

通過阿里云的大數據分析算法，協鑫光伏可以對生產過程中采集到的全部變量進行分析，找出與良品率最為相關的關鍵變量。“根據這些關鍵變量為協鑫光伏搭建生產的參數監控模型，在生產過程中對這些變量進行分析處理，一旦變量超出模型范圍，協鑫光伏的監測系統就會及時預警。”

協鑫光伏作為追求卓越的制造業企業代表，為同類企業轉型升級摸索出了一條道路。大數據作為企業的重要資產，借助于云計算等新技術，可以實現企業的智能改造和升級，完成提升生產效率和產品品質的最后一公里。

協鑫與阿里云合作的模式可以直接復制，利用制造業企業的生產經驗，和云計算、大數據分析提供的穩定高效的大數據存儲、分析能力，打造企業級數據分析平臺。

上海鷗新

客戶簡介

上海鷗新軟件有限公司專注于室內定位技術和客流統計與分析的研發，如室內定位引擎、客流統計與分析系統。在用戶導入客流系統的同時，為商業零售實體店提供了覆蓋微信上網、定時定地點向客戶推快遞精準化商業信息等一體化解決方案。

業務需求

實時熱力圖，通過實時客流分析系統，制作每個樓層的實時熱力圖，不同顏色代表客流人數的密集程度。

實時客流統計圖，實時客流分析產品主要服務于商場運營方，提供的功能包括商場熱力圖、店鋪熱力圖、客流數、新老客占比、停留時間和客流時間分布等，為運營決策提供數據支持。

精準推快遞，WiFi采集到的地址跟現有數據庫進行碰撞，對碰撞出的用戶建立用戶畫像，根據來店情況可進行更為精準的推快遞。

位置定向廣告，與商場線下廣告屏幕打通，設定地理圍欄與規則，命中規則后個性化推薦相關廣告。

系統架構

整個系統的數據源都是WiFi，WiFi設備的布點是系統成功的關鍵。在WiFi鋪設的過程中會預先記錄好設備的位置（所屬樓層、平面坐標、所屬店鋪等），且根據業務情況來確認WiFi之間是否重疊：如果要精確，需要多點定位，否則盡量確保WiFi的范圍不重疊，防止數據互相污染。

數據流程

使用WiFi采集設備信息。

把采集的數據經過SLB發國際快遞接收服務器。

接受服務器把數據發國際快遞消息隊列（DataHub）。

實時計算Flink版訂閱DataHub數據。

把設備采集到的用戶信息跟設備的地理位置信息進行關聯。

完成處理，然后把結果寫出供下游使用。

實時計算Flink版的處理邏輯：

數據清洗、去重。

維表關聯，用戶Mac地址與設備地理信息關聯，實時數據與歷史數據關聯。

手機品牌識別、位置識別、新客識別。

計算停留時間、生成軌跡。

說明：數據收集與清洗部分是整個系統的基礎，在這些數據的基礎上可再進行精準推快遞和位置廣告等服務。

業務總結

鷗新商場實時客流分析平臺涉及多臺線下設備（2000臺設備），實時計算Flink版每秒處理輸入30K條數據，每秒輸出20K條處理后的數據，整體延遲為秒級，整體收益包括：

節省運維成本：免運維，阿里云提供高保障；

對接上下游：直接注冊，免開發；

降低開發成本：SQL開發，效率高，門檻低，原來單作業Java開發3天的工作量降低到1天內，且BUG少，整個系統重構只需一周。

這套系統打通了線下與線上，為商場的運營方提供了不同維度的數據支持，提高了運營活動的效果；為在顧客打造更好的購物體驗的同時也提升了商場的整體營收。商場實時客流分析系統是IoT技術與大數據實時處理技術結合起來的典型案例。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。