電商案例 “國民級”連鎖零售商如何與爬蟲作斗爭,電商行業(yè)的典型案例分析

電商案例全國連鎖零售商如何對抗爬蟲

規(guī)模效應(yīng)能帶來各種收益是不言而喻的，但相應(yīng)的價值和風(fēng)險往往是并存的。任何系統(tǒng)的規(guī)模越大，價值越高，隨之而來的安全風(fēng)險就越大。對于互聯(lián)網(wǎng)上的數(shù)字資產(chǎn)，如大型數(shù)字平臺、用戶個人信息等，價值與風(fēng)險并存的問題更加突出。超市和零售商就是這種情況。

名副其實(shí)的“國家級”零售商

一家知名的海外連鎖超市和零售商，主要銷售生鮮食品、服裝和家居用品，擁有超過3350家實(shí)體店，每周服務(wù)近2900萬顧客。開展電子商務(wù)業(yè)務(wù)后，經(jīng)過一段時間的發(fā)展，他們的注冊在線會員數(shù)已經(jīng)達(dá)到1230萬，電子商務(wù)網(wǎng)站的日點(diǎn)擊量高達(dá)8億次。

生意紅火固然可喜，但隨之而來的煩惱也著實(shí)讓人頭疼。

網(wǎng)絡(luò)爬蟲防不勝防

自疫情爆發(fā)以來，大量用戶開始通過電子商務(wù)服務(wù)購買日常所需。該零售商的電子商務(wù)業(yè)務(wù)取得了大幅增長，注冊用戶數(shù)量和網(wǎng)站點(diǎn)擊量都有顯著增長。據(jù)統(tǒng)計，自疫情發(fā)生以來，他們的網(wǎng)絡(luò)流量增長了200%以上。

面對流量的突然增加，零售商并沒有在意，開始考慮流量是不是真正的客戶帶來的。他們懷疑部分流量可能來自各種帶有一些惡意目的的計算機(jī)程序。這種被稱為Bot的計算機(jī)程序會自動訪問網(wǎng)站頁面，并執(zhí)行一些惡意操作。但由于缺乏合適的工具，他們無法通過技術(shù)手段驗(yàn)證自己的猜測。

為了省事，很多人在注冊各種網(wǎng)站時習(xí)慣使用同一個用戶名和密碼，而一旦某個網(wǎng)站的這些信息泄露，用戶在其他所有網(wǎng)站注冊的賬號都會受到威脅。攻擊者使用爬蟲試圖通過這些泄露的賬號憑證逐一登錄不同的網(wǎng)站，這就是所謂的數(shù)據(jù)庫碰撞。一旦找到可用賬戶，然后將賬戶內(nèi)的余額、積分等有價值的資產(chǎn)進(jìn)行消費(fèi)或轉(zhuǎn)移，甚至直接使用賬戶捆綁的支付方式進(jìn)行“盜取”。

懷疑存在這種威脅，但缺乏驗(yàn)證和查證的技術(shù)手段，自然對各種交通流的具體情況缺乏進(jìn)一步的了解，難以采取有針對性的防范措施。

不僅如此，這種疑似惡意爬蟲還對公司的合規(guī)運(yùn)營提出了挑戰(zhàn)。根據(jù)相關(guān)法律法規(guī)的要求，企業(yè)必須充分保護(hù)客戶數(shù)據(jù)。一旦不慎泄露客戶信息，將承擔(dān)極其嚴(yán)重的后果和高額罰款。

除了安全和合規(guī)問題，一些爬蟲還會給零售商的業(yè)務(wù)運(yùn)營帶來麻煩。經(jīng)理還懷疑自己的網(wǎng)站被競爭對手的數(shù)據(jù)抓取了，對方自動抓取了產(chǎn)品價格、庫存數(shù)量等信息。因?yàn)樗麄兘?jīng)常發(fā)現(xiàn)有幾個固定的IP地址會定期訪問他們的網(wǎng)站，而且都是會造成非常大的流量，這看起來根本不像是普通客戶的行為。但由于缺乏證據(jù)，他們目前只是持懷疑態(tài)度。

可能很多人不太了解，但其實(shí)這種Bot爬蟲已經(jīng)成為現(xiàn)代互聯(lián)網(wǎng)Web應(yīng)用面臨的最大公敵之一。根據(jù)Akamai的統(tǒng)計，2021年Q2有700億次賬號濫用攻擊，Q/Q增長了15%。而這種攻擊是WAF無法緩解的。更令人擔(dān)憂的是，Akamai多次檢測到日峰值超過10億次的惡意登錄行為。

除了數(shù)量越來越多，爬蟲攻擊的形式也越來越豐富，撞庫攻擊、銀行卡攻擊、囤積股票、薅羊毛、禮品卡攻擊等都是常見的形式和目標(biāo)。而且爬蟲攻擊越來越智能化、分布式，可以模擬人類的行為特征，繞過常見的Web安全設(shè)備和檢測機(jī)制(如“驗(yàn)證碼”)。

機(jī)器人經(jīng)理，固若金湯

面對爬行動物帶來的各種風(fēng)險，零售商有三個主要需求:

希望增強(qiáng)爬蟲的可見性，通過詳細(xì)的數(shù)據(jù)分析和結(jié)論，更準(zhǔn)確地評估和緩解爬蟲的風(fēng)險。

希望盡可能避免競爭對手的數(shù)據(jù)抓取行為。

更好地保護(hù)客戶數(shù)據(jù)，滿足相關(guān)政府和行業(yè)法律法規(guī)的合規(guī)性要求。

Akamai Bot Manager以靈活的服務(wù)模式和強(qiáng)大的功能滿足了這家零售商的需求。

在可見性方面，Bot Manager有一個自動管理的已知爬蟲列表，它已經(jīng)覆蓋了超過1，500個已知爬蟲。此外，它還可以使用AI模型來檢測未知的爬蟲，分析用戶行為，識別瀏覽器指紋。通過這種方式，零售商可以獲得實(shí)時的整體趨勢、行業(yè)洞察和爬蟲流量的詳細(xì)分析，從而做出更有針對性的防御措施。

Bot管理人在防止惡意競爭方口罩有出色的監(jiān)控能力。結(jié)合Akamai全球化平臺，Bot Manager每天可以收集115億次爬蟲請求和2.8億次爬蟲登錄，可以從豐富的數(shù)據(jù)分析中得出精準(zhǔn)的洞察。該零售商尚未開始正式部署，但僅處于概念驗(yàn)證階段。Bot Manager已經(jīng)幫助他們成功發(fā)現(xiàn)了某全球知名電商網(wǎng)站抓取自己網(wǎng)站的證據(jù)，甚至分析出了對this 基礎(chǔ)的攻擊的行為特征，包括源地址、攻擊時間、定向抓取價格的行為特征等。

在合規(guī)運(yùn)營方面，由于能夠準(zhǔn)確獲取與惡意爬蟲行為相關(guān)的洞察，并針對不同行為和目的的爬蟲采取針對性的對策，零售商期望在Bot Manager的幫助下能夠更好地防止撞庫和憑證濫用，并利用Akamai強(qiáng)大的machine 學(xué)習(xí)算法和全局規(guī)模及洞察來改善其安全合規(guī)運(yùn)營狀況。

根據(jù)Ponemon Institute的統(tǒng)計，每年與庫沖突相關(guān)的總成本(包括欺詐相關(guān)的損失、運(yùn)營安全、應(yīng)用程序停機(jī)和客戶流失)可能達(dá)到600萬美元至5400萬美元。Akamai自己的觀察和統(tǒng)計也發(fā)現(xiàn)，爬蟲已經(jīng)占到網(wǎng)站總流量的30%70%之多。

Akamai network每天處理全球網(wǎng)絡(luò)流量的很大一部分，包括世界上一些最大和最常被攻擊的網(wǎng)站。Akamai具有獨(dú)特的優(yōu)勢，能夠深入了解合法應(yīng)用程序的使用情況以及惡意爬蟲不斷演變的攻擊行為。它擁有最新的爬蟲檢測技術(shù)，已被證明能夠識別當(dāng)今最復(fù)雜的爬蟲程序。

而且，Bot Manager還利用多種專利技術(shù)，在爬蟲首次接觸網(wǎng)站時，盡早對其進(jìn)行檢測和防御，防止其進(jìn)入網(wǎng)站。通過Akamai長期不斷的檢測和改進(jìn)，即使威脅在不斷發(fā)展變化，也能讓用戶得到妥善的保護(hù)。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。