阿里云 云存儲(chǔ)網(wǎng)關(guān)緩存工作原理,阿里云云存儲(chǔ)網(wǎng)關(guān)

阿里云 云存儲(chǔ)網(wǎng)關(guān)緩存工作原理

前言

云存儲(chǔ)網(wǎng)關(guān)支持通過(guò)傳統(tǒng)的文件協(xié)議(SMB/NFS)來(lái)訪(fǎng)問(wèn)OSS Bucket里面的數(shù)據(jù)，并能夠通過(guò)緩存技術(shù)將用戶(hù)頻繁訪(fǎng)問(wèn)的熱點(diǎn)數(shù)據(jù)保留在網(wǎng)關(guān)側(cè)的緩存盤(pán)里，從而提供給用戶(hù)更好的訪(fǎng)問(wèn)體驗(yàn)。使得用戶(hù)在享受云上海量OSS存儲(chǔ)空間的同時(shí)，還兼具本地的高速訪(fǎng)問(wèn)性能。下面是阿里云文件網(wǎng)關(guān)的架構(gòu)圖。

用戶(hù)在使用阿里云云存儲(chǔ)網(wǎng)關(guān)時(shí)，經(jīng)常會(huì)碰到一些緩存相關(guān)的問(wèn)題，比如在創(chuàng)建共享時(shí)如何選擇緩存盤(pán)的容量和類(lèi)型，比如緩存的數(shù)據(jù)淘汰策略是什么等。本文接下來(lái)的內(nèi)容將結(jié)合緩存盤(pán)的工作原理來(lái)解開(kāi)這些困惑。云存儲(chǔ)網(wǎng)關(guān)根據(jù)支持的協(xié)議的不同，分為支持NFS/SMB文件協(xié)議的文件網(wǎng)關(guān)和支持iSCSI協(xié)議的塊網(wǎng)關(guān)。它們兩者的緩存工作機(jī)制是不一樣的，本文主要針對(duì)的文件網(wǎng)關(guān)。

工作原理

文件網(wǎng)關(guān)支持緩存模式和復(fù)制模式兩種模式，絕大部分用戶(hù)使用的應(yīng)該都是緩存模式。緩存模式是指緩存盤(pán)的數(shù)據(jù)到一定比例之后，文件網(wǎng)關(guān)會(huì)自動(dòng)淘汰那些訪(fǎng)問(wèn)不頻繁的數(shù)據(jù)。在這種模式下，固定容量的緩存盤(pán)可以管理遠(yuǎn)遠(yuǎn)大于緩存盤(pán)實(shí)際容量的OSS Bucket。復(fù)制模式則不同，數(shù)據(jù)在網(wǎng)關(guān)側(cè)和OSS Bucket里面是1:1的，所以網(wǎng)關(guān)不會(huì)去做數(shù)據(jù)的淘汰，一定容量的緩存盤(pán)理論上只能管理對(duì)應(yīng)于緩存盤(pán)容量的OSS Bucket。復(fù)制模式針對(duì)的場(chǎng)景主要是OSS Bucket總數(shù)據(jù)量基本不會(huì)增長(zhǎng)且總數(shù)據(jù)量不是特別大，同時(shí)希望將所有數(shù)據(jù)都保持在網(wǎng)關(guān)共享里加速訪(fǎng)問(wèn)。不過(guò)這種場(chǎng)景畢竟在少數(shù)，絕大多數(shù)用戶(hù)會(huì)選擇緩存模式以應(yīng)對(duì)日后OSS Bucket里面的數(shù)據(jù)增長(zhǎng)。

在緩存模式下，緩存盤(pán)的數(shù)據(jù)會(huì)在60%滿(mǎn)的時(shí)候觸發(fā)淘汰直到實(shí)際數(shù)據(jù)量落到60%以下，從而保證永遠(yuǎn)有足夠的緩存容量面對(duì)新的數(shù)據(jù)寫(xiě)入。那么淘汰的策略是如何的呢，如何決定哪些數(shù)據(jù)是可以淘汰的呢文件網(wǎng)關(guān)淘汰的實(shí)際上是已經(jīng)同步到OSS Bucket里面的文件，也就是說(shuō)對(duì)某個(gè)文件的最后一次修改應(yīng)用到網(wǎng)關(guān)的SMB或者NFS共享之后，并且網(wǎng)關(guān)已經(jīng)將這個(gè)文件上傳到OSS Bucket里面，那么這個(gè)文件就是可以淘汰的。如果用戶(hù)還在持續(xù)的對(duì)某個(gè)文件進(jìn)行寫(xiě)入，這個(gè)文件是不會(huì)被選為一個(gè)淘汰的對(duì)象的。所以用戶(hù)如果同時(shí)打開(kāi)多個(gè)文件進(jìn)行寫(xiě)入，緩存盤(pán)的容量就應(yīng)該比同時(shí)在寫(xiě)的所有文件的總?cè)萘恳螅駝t就有可能導(dǎo)致數(shù)據(jù)來(lái)不及淘汰而造成寫(xiě)入錯(cuò)誤

在復(fù)制模式下，因?yàn)閿?shù)據(jù)不會(huì)發(fā)生淘汰，相對(duì)來(lái)說(shuō)就簡(jiǎn)單很多。緩存盤(pán)的容量比OSS Bucket里面的總數(shù)據(jù)大就可以，這種模式注定它不可能管理特別大的數(shù)據(jù)量，因?yàn)楫?dāng)前支持的緩存盤(pán)的最大容量32TB。所以除非對(duì)復(fù)制模式有強(qiáng)需求，還是推薦使用緩存模式，相對(duì)來(lái)說(shuō)更加靈活。

另外文件網(wǎng)關(guān)會(huì)預(yù)留一部分緩存盤(pán)空間存儲(chǔ)元數(shù)據(jù)，一般會(huì)預(yù)留20%。這部分元數(shù)據(jù)主要是用來(lái)存儲(chǔ)單個(gè)文件的元數(shù)據(jù)，包括大小，修改時(shí)間等等。所以即使某個(gè)文件的數(shù)據(jù)被淘汰之后，網(wǎng)關(guān)還是存儲(chǔ)了一個(gè)樁文件在元數(shù)據(jù)里，這樣用戶(hù)從客戶(hù)端進(jìn)行文件夾瀏覽的時(shí)候，還是能夠看到數(shù)據(jù)被淘汰掉的這個(gè)文件，給用戶(hù)一致的體驗(yàn)。用戶(hù)如果試圖讀取這個(gè)文件內(nèi)容，網(wǎng)關(guān)會(huì)負(fù)責(zé)將數(shù)據(jù)再次從OSS Bucket里獲取到緩存盤(pán)里面。這部分元數(shù)據(jù)空間關(guān)系到當(dāng)前共享可以支持的最大文件數(shù)目，畢竟40GB的緩存盤(pán)的元數(shù)據(jù)空間肯定低于50GB的緩存盤(pán)的元數(shù)據(jù)空間。一般來(lái)說(shuō)100G的緩存盤(pán)已經(jīng)可以支持到1000萬(wàn)文件了。

注意事項(xiàng)

了解緩存的工作原理之后，下面這些其實(shí)都比較好理解了。

如果你的業(yè)務(wù)對(duì)帶寬和IOPS的要求比較高，比如跑的數(shù)據(jù)庫(kù)之類(lèi)的對(duì)時(shí)延要求比較高的業(yè)務(wù)，那么可能SSD類(lèi)型的緩存盤(pán)更適合，因?yàn)樗鼡碛懈玫膸捄虸OPS。SSD類(lèi)型的緩存盤(pán)的帶寬和IOPS都會(huì)比高效云盤(pán)更優(yōu)秀，SSD緩存的最高IOPS可以到25000，高效云盤(pán)緩存是5000，帶寬方面SSD緩存最高可以到300MB，高效云盤(pán)緩存的帶寬最高可以到140MB。

容量的選擇主要和并發(fā)數(shù)和最大文件大小有關(guān)。緩存盤(pán)的可用容量(需要扣除元數(shù)據(jù)空間)需要大于并發(fā)數(shù)和最大文件大小的乘積，這樣才不會(huì)造成數(shù)據(jù)寫(xiě)入錯(cuò)誤。當(dāng)然越大的緩存盤(pán)本地能夠緩存的熱數(shù)據(jù)量也就越多，總體來(lái)說(shuō)性能會(huì)更好。所以如果希望能夠獲得比較好的性能，緩存盤(pán)還是要設(shè)置的稍微大一些。

云存儲(chǔ)網(wǎng)關(guān)的控制臺(tái)現(xiàn)在也提供了非常方便的計(jì)算器，根據(jù)用戶(hù)輸入的IOPS和帶寬需求等可以作出合適的緩存容量和類(lèi)型的推薦。結(jié)合我們前面講的對(duì)照看下圖中每一個(gè)條目，相信很好理解。

小結(jié)

本文介紹了云存儲(chǔ)網(wǎng)關(guān)文件網(wǎng)關(guān)的緩存工作原理，包括緩存盤(pán)元數(shù)據(jù)空間管理，數(shù)據(jù)淘汰策略等，旨在解答用戶(hù)在選擇和使用緩存盤(pán)時(shí)遇到的一些問(wèn)題。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。