大數(shù)據(jù)任務(wù)執(zhí)行時間優(yōu)化案例分享,大數(shù)據(jù)技術(shù)下如何提高預(yù)處理能力

大數(shù)據(jù)任務(wù)執(zhí)行時間優(yōu)化案例分享

問題的背景

在項目中，大數(shù)據(jù)的任務(wù)執(zhí)行時間較長，需要進行優(yōu)化，使大數(shù)據(jù)的任務(wù)執(zhí)行時間優(yōu)化到客戶可以接受的時間。

分析兩個原因

業(yè)務(wù)場景分析

該場景中的大數(shù)據(jù)任務(wù)主要是對數(shù)據(jù)進行mapreduce操作，包括兩個子任務(wù)。第一個子任務(wù)的地圖數(shù)量(每張地圖大小為128M)約為4300張(這些地圖任務(wù)分散在不同的服務(wù)器上，泰山集群有6400+核處理，可以充分利用泰山的多核優(yōu)勢)。地圖的執(zhí)行時間是10分鐘。但reduce的數(shù)量固定為200(即最多200個內(nèi)核并行處理reduce任務(wù))，reduce的執(zhí)行時間約為1小時30分鐘，耗時較長。同時reduce的數(shù)量少于map的數(shù)量，無法充分發(fā)揮泰山多核的優(yōu)勢，第二個子任務(wù)也是reduce階段，耗時較長。

服務(wù)器基礎(chǔ)的性能分析

執(zhí)行大數(shù)據(jù)任務(wù)時，cpu利用率不高，磁盤io和網(wǎng)卡IO不存在瓶頸。但是，網(wǎng)卡中斷需要綁定到內(nèi)核，并且可以調(diào)整磁盤緩存參數(shù)來提高性能。

三種解決方案

3.1網(wǎng)卡調(diào)整

3.1.1中斷核結(jié)合

中斷關(guān)聯(lián)性被描述為一組能夠?qū)μ囟ㄖ袛嘧龀鲰憫?yīng)的CPU。如果應(yīng)用程序可以通過關(guān)聯(lián)相關(guān)的CPU在相同的CPU上下文中處理收到的數(shù)據(jù)包，則可以減少等待時間并提高CPU利用率。

因此，我們可以將處理網(wǎng)卡中斷的CPU內(nèi)核設(shè)置在網(wǎng)卡所在的NUMA上，從而減少跨NUMA內(nèi)存訪問帶來的額外開銷，提高網(wǎng)絡(luò)處理性能。

3.2磁盤參數(shù)調(diào)整

3.2.1磁盤讀取預(yù)取參數(shù)

/sys/block/sdx/queue/read ahead。該參數(shù)對于順序讀取非常有用。意思是，一次提前看多少內(nèi)容，不管實際需要多少。默認情況下，一次讀取128kb遠小于您想要讀取的內(nèi)容。設(shè)置大一點對于讀取大文件非常有用，可以有效減少讀尋道的次數(shù)。該參數(shù)可通過使用塊dev–setra進行設(shè)置。setra設(shè)置了多少個扇區(qū)，因此實際字節(jié)除以2。例如，設(shè)置512實際讀取256個字節(jié)。

原始服務(wù)器值是128kb，它被設(shè)置為4096Kb。

3.2.2緩存寫入磁盤的參數(shù)調(diào)整

/proc/sys/vm/dirtyratio從20更改為40

此參數(shù)控制文件系統(tǒng)的文件系統(tǒng)寫緩沖區(qū)的大小。單位是百分比，表示系統(tǒng)內(nèi)存的百分比。它表示當寫緩沖區(qū)用完系統(tǒng)內(nèi)存時，它開始向磁盤寫入數(shù)據(jù)。如果增加，更多的系統(tǒng)內(nèi)存將用于磁盤寫緩沖，系統(tǒng)的寫性能也將大大提高。

/proc/sys/VM/dirty background ratio從10更改為20

此參數(shù)控制文件系統(tǒng)的pdflush進程以及何時刷新磁盤。是單位百分比，表示系統(tǒng)內(nèi)存的百分比。這意味著當寫緩沖區(qū)用完系統(tǒng)內(nèi)存時，pdflush開始向磁盤寫入數(shù)據(jù)。

如果增加，更多的系統(tǒng)內(nèi)存將用于磁盤寫緩沖，系統(tǒng)的寫性能也將大大提高。

/proc/sys/VM/dirty write back centi secs從500更改為800

此參數(shù)控制內(nèi)核的臟數(shù)據(jù)刷新進程pdflush的運行間隔。單位是1/100秒。默認值為500，即5秒。

/proc/sys/VM/dirty expire centi secs從3000更改為30000。

該參數(shù)聲明Linux內(nèi)核寫緩沖區(qū)中的數(shù)據(jù)為“舊”后，pdflush進程開始考慮將其寫入磁盤。單位是1/100秒。默認是30000，也就是說即使30秒的數(shù)據(jù)是舊的，也會刷新磁盤。

對于特別重載的寫操作，適當降低這個值也是好的，但是不能降低太多，因為降低太多會導(dǎo)致IO增加過快。

3.3應(yīng)用程序調(diào)整

3.3.1優(yōu)化數(shù)量的減少

調(diào)整大數(shù)據(jù)平臺上的reduce設(shè)置，使最大reduce數(shù)由200改為500，性能明顯提升。

3.3.2 Reduce并行復(fù)制參數(shù)maprd.reduce.parallel.copies優(yōu)化

reduce的并發(fā)副本數(shù)默認為5，后來調(diào)整為30可以增加Reduce的最大并發(fā)副本數(shù)。

調(diào)優(yōu)后，最終大數(shù)據(jù)任務(wù)執(zhí)行時間有了顯著提升。

四總結(jié)

調(diào)優(yōu)后，任務(wù)在泰山集群服務(wù)器上的執(zhí)行時間明顯改善。相關(guān)想法總結(jié)如下:

分析確認大數(shù)據(jù)任務(wù)執(zhí)行各階段耗時，重點關(guān)注耗時階段，提高降低并發(fā)，充分利用泰山多核優(yōu)勢。

找出性能瓶頸，優(yōu)化服務(wù)器各子模塊的參數(shù)。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。