阿里云 容器存儲解決方案,阿里云服務器配置解決方案

阿里云 容器存儲解決方案

前言

Forrester預測到2022年，全球組織／公司在生產環境中運行容器化應用的比例將大幅度提升到超過75%，企業應用容器化的趨勢勢不可擋。本藍皮書將在這樣的背景下，討論容器對存儲的現實需求以及阿里云文件存儲在云原生和容器等領域，不斷進行適配和迭代的具體實踐，并最終幫助用戶更好的應對云原生時代的挑戰。

一、容器與存儲

1、云原生的快速增長

來自CNCF（云原生計算基金會）的觀點認為，。“云原生技術有利于各組織在公有云、私有云和混合云等新型動態環境中，構建和運行可彈性擴展的應用。云原生的代表技術包括容器、服務網格、微服務、不可變基礎設施和聲明式API。這些技術能夠構建容錯性好、易于管理和便于觀察的松耦合系統。結合可靠的自動化手段，云原生技術使工程師能夠輕松地對系統作出頻繁和可預測的重大變更。”

此外，容器集群管理系統Kubernetes的快速發展也對容器的使用帶來了極大便利，通過對網絡，存儲，計算進行了編排，給用戶展現了一個新的界面，極大的簡化了用戶的運維，提升了資源的彈性，真正的做到了按需使用，降低了用戶的成本。Kubernetes已經成為了云原生的操作系統。

容器在生產環境的應用的比例快速上漲，從2016年首次調查的23%，到2018年上漲到73%，實際到2020年已經上漲到84%。

云原生應用正在引領各個應用領域實現云原生化，同時也在深刻改變著應用服務的方方面面。存儲作為應用運行的基石，也在服務云原生化過程中提出了更多的需求。云原生存儲為了滿足云原生特性的要求，可用性、穩定性、擴展性、性能等核心能力都有大幅的優化。

與網絡、計算的編排不同的是，存儲需要考慮如何無縫的接入到Kubernetes中進行編排和調度。Kubernetes推出了CSI，通過統一的標準將存儲和Kubernetes進行了無縫的對接。

2、容器存儲的挑戰

新型工作負載容器化、遷云在存儲方面遇到的性能、彈性、高可用、安全及生命周期等方面的問題，不但需要存儲產品層次的改進，還需要在云原生的控制和數據層次的改進，推進云原生存儲的技術演進。

1）存儲彈性挑戰

業務有明顯的波峰波谷，如直播、互聯網和大型金融服務商等突發應用要求彈性擴容大量只讀容器，短時間內啟動數千個容器，對資源的彈性伸縮的能力要求非常高。云原生的極致彈性對存儲的極致彈性能力帶來了新的挑戰。

2）存儲高可用挑戰

海量容器對數據共享讀寫能力要求較高，多節點之間，不同可用區和不同VPC之間缺乏數據共享。當Pod故障時，數據能否靈活切換實現容器應用的高可用，保證業務的連續性的高可用挑戰。

3）存儲性能挑戰

云原生應用在大數據分析、AI等場景得到廣泛應用，這些場景對存儲吞吐和IOPS的需求也非常高。在容器集群集中處理海量數據，同時啟動數千Pod，彈出海量Pod對共享文件系統進行讀寫的場景下，重負載導致時延增加，高延遲毛刺增多，讀寫穩定性不足，同時云原生應用的快速擴容、極致伸縮等特性也會考驗存儲服務在短時間內迎接峰值流量的能力。

集中式高吞吐對共享存儲池沖擊：高性能計算場景中，集中處理批量數據，同一個存儲集群中帶寬擠占，造成訪問質量下降。

峰值吞吐不足：大規模數據處理，文件數目少，峰值吞吐高，請求密集，接近獨占集群的極限帶寬。

時延增加導致GPU等待：多機多卡GPU訓練，讀密集型的場景下，時延增加導致IOwait和GPU wait。

4）存儲的安全挑戰：面向的容器隔離性要求場景，主要是多應用共享，文件系統多租戶環境的容量配合，集群級文件系統共享訪問的權限控制，用戶應用的全鏈路數據加密等安全挑戰。

5）存儲的生命周期管理挑戰：海量容器集群持久化數據存儲面臨數據冷熱分級和成本挑戰。

二、阿里云文件存儲

1、文件存儲與容器

作為國內最大的云產商，阿里云提供了豐富的云原生服務。阿里云在云原生布局上提供托管、Serverless的容器編排平臺，阿里云存儲提供CSI、Flexvolume插件，和云原生無縫對接。

阿里云文件存儲NAS為非結構化數據提供存儲服務。隨著云原生的快速發展，越來愈多的容器化應用程序開始使用NAS來存儲數據，甚至存儲的數據量達到了PB級。阿里云在云原生布局上提供容器Kubernetes服務（ACK）和彈性容器實例（ECI），容器實例使用NAS文件系統作為持久化存儲。阿里云文件存儲同時滿足容器應用場景對持久化存儲彈性伸縮、共享訪問、高可用、高性能的需求。

阿里云文件存儲NAS是容器存儲的自然選擇，因為它是一種完全托管的服務，配置簡單，添加或刪除數據時自動擴展，和容器基礎架構一樣靈活便捷。

2、阿里云文件存儲產品優勢

阿里云存儲服務也在云原生應用適配做了很多優化，阿里云文件存儲支持CSI、Flexvolume存儲驅動無縫的銜接了云原生應用和存儲服務之間的數據接口。實現了用戶使用存儲資源時對底層存儲無感知，而專注于自己的業務開發。

阿里云文件存儲為云原生提供了一個完全彈性和共享的文件系統，按需使用，滿足云原生極致的彈性。阿里云文件存儲從彈性，高可用，性能，安全，生命周期管理等方面對云原生存儲進行了打造和演進。

1）極致彈性，按需自動擴展

阿里云文件存儲支持自由擴縮容，按需使用，適配容器的彈性能力，是完全托管的文件系統。在金融，互聯網等典型的突發彈性場景中，能夠在幾分鐘內啟動數千個容器，并完成數據的極速加載、卸載。

2）共享持久化數據，容器應用高可用

文件存儲具備多節點共享訪問能力，文件存儲還可以在不同可用區（不支持跨地域）、不同VPC之間共享。多Pod間通過NAS共享持久化數據，在POD故障時可以進行故障切換，實現容器應用高可用。

3）高性能加速，移除容器存儲I/O瓶頸

文件存儲基于分布式存儲架構，具備性能水平擴展能力。提供不同類型、不同規格存儲產品，充分滿足各類應用的吞吐、延遲、IOPS和小文件等性能需求。文件存儲CPFS剛性交付100GBps吞吐，支持AI、HPC應用；文件存儲NAS極速型IOPS 20萬，時延200us，小文件時延敏感應用最佳選擇。高性能文件存儲在容器批量加載時實時讀取數據，支撐有狀態應用、AI數據智能應用。

4）無縫對接容器存儲插件，簡化的云原生體驗

文件存儲基于POSIX/NFS/SMB文件接口，現有應用無需任何改造，可直接從本地磁盤平滑遷移至文件存儲。針對容器編排，文件存儲提供了CSI、Flexvolume存儲插件，簡化部署和使用，擁有完整的云原生體驗。

5）企業級應用特性，Pod存儲安全可靠

文件存儲支持副本技術，同時通過備份、快照提供完整的數據保護和恢復機制。支持傳輸、落盤加密，確保數據不會被任何人竊取和篡改。支持海量pod存儲隔離和統一管理。

6）數據生命周期管理，優化成本

文件存儲提供按量付費模式，只需為正在使用的存儲空間付費，不需要提前配置存儲，并且不存在最低費用或設置費用。借助文件存儲的共享能力可以節約大量的冗余數據拷貝和同步費用。數據生命周期管理，支持冷熱分層，自動歸檔冷數據，降低成本90%。

3、阿里云文件存儲產品規格

阿里云文件存儲是云原生、高可用、成本優化的完全托管的文件系統。阿里云文件存儲有三款產品，通用型NAS，極速型NAS和并行文件系統CPFS。其中：

通用型NAS具有高性價比，通常是交互式應用程序的最佳選擇，諸如內容管理系統，容器應用的吞吐量和存儲量線性相關。

極速型NAS具有低延時，通常是時延敏感應用的最佳選擇，如開發人員工具在每次低延時操作中受益。

并行文件系統CPFS具有高吞吐和高IOPS，通常適用于分析和AI機器學習等計算密集型場景，能支撐數千個容器并行操作，也是高性能計算工作負載的理想選擇。

三、容器存儲的典型應用場景

隨著新技術的發展，極致彈性、AI、Devops持續集成交付和容器集成鏡像構建、基因處理等大量使用容器文件存儲。

1、極致彈性的容器存儲應用場景

視頻、5G、直播、大型金融服務商等突發應用彈性擴容大量只讀容器，對資源彈性的能力要求非常高，文件存儲需具備極致彈性和極速伸縮能力的應用場景：

●NAS為海量容器提供共享讀寫能力

●NAS自動化極速伸縮，在短時間內啟動數千個容器，毫秒級掛載NAS

●利用極速型NAS低時延和強大小文件能力，分鐘級別實現快速啟動，解決擴容的并發啟動對存儲性能的高要求

方案優勢：

●敏捷，極致的彈性，對存儲來說，容量和性能擴展完全按需

●單個文件系統支持數萬Pod共享，毫秒掛載和卸載，極速遷移

2、AI容器存儲應用場景

CPFS/NAS文件存儲面向AI訓練、AI推理的容器存儲解決方案：

●CPFS/NAS靈活整合容器環境的GPU云服務器、SCC、彈性裸金屬等計算集群，通過容器化部署服務實現資源彈性調度，快速構建AI基礎環境。

●CPFS/NAS文件存儲作為高性能共享存儲，與AI場景完美結合，支持海量小文件訪問，加速AI訓練、推理性能。

●CPFS混合云存儲+云上CPFS/NAS/OSS多級存儲池，數據云上和云下流轉，支持分層存儲。

方案優勢：

●超高性能存儲提高了計算資源的利用率

●良好擴展能力，減少運維管理成本

●生命周期管理，與云上無縫對接，數據冷熱分層，降低成本

3、DevOps容器鏡像構建應用場景

DevOps持續集成工具交付和容器鏡像構建應用場景的容器存儲解決方案：

●持續集成工具Jenkins結合容器服務，實現自動測試和鏡像構建推快遞。

●開發人員提高代碼GitLab，CI Server從NAS讀取代碼進行編譯構建、集成測試和打包，CI Server從NAS讀取鏡像包推快遞鏡像服務，由CD Server鏡像發布。

●通過NAS共享存儲，可以在開發環境和測試環境方便的共享代碼，維護一套代碼庫，可以在開發環境完成開發，然后編譯并加載到CI持續集成，最后代碼發布上線，全流程打通，無需繁瑣的代碼拷貝。

方案優勢：

共享訪問：不同的業務容器可以在一致性狀態下共享訪問同一份數據

高可用：容器故障后需要在不同宿主節點進行切換，共享NAS存儲可以保證在容器的持久化數據在切換過程中不丟失。

4、基因計算容器存儲解決方案

二代、三代基因數據分析提供云上數據分析和高速數據上傳、交付的容器存儲方案：

文件存儲對接AGS、ACK搭建極速、低成本、高精度的容器基因計算環境，滿足基因測序的計算和數據共享需求；

NAS為基因行業用戶提供低時延、高IOPS的文件存儲，用于基因數據分析中的共享存儲，保存下機數據和組裝后的數據，以及過程中的中間數據；

NAS計算結果數據會同步到OSS存儲，文件存儲集成OSS提供海量存儲空間，同時通過冷數據歸檔存儲，降低存儲成本。保存測序儀下機數據和組裝后數據以及分析結果數據，用于數據的分發、歸檔、交付。保證10000+用戶同時上傳、下載數據，提高數據交付效率。

方案優勢：

敏捷，按需使用，彈性擴展

超高性能存儲提高基因計算的高性能和效率

數據冷熱分層，降低成本

四、總結

以容器和云原生計算被企業快速接納，Kubernetes逐漸成為云原生時代的基礎設施，容器服務成為云原生時代基礎設施。新的工作負載推進云原生存儲和云存儲的演進，云存儲繼續夯實性能，容量，彈性，密度等基礎能力，共建云原生環境下的存儲生態。

阿里云文件存儲是容器存儲的自然選擇，完美應對云原生存儲在性能，彈性，高可用，安全，生命周期等方面的數據挑戰。阿里云基于云原生文件存儲技術的快速演進將不斷賦能云原生和容器領域的快速發展。

特別聲明：以上文章內容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。