在與對手競爭的過程中，亞馬遜在爬蟲機器人領(lǐng)域的領(lǐng)先地位雖然鮮為人知，但卻對它的發(fā)展起到了重要作用。

以下為文章全文：

今年早些時候，負(fù)責(zé)追蹤對手電商售價的沃爾瑪工程師大吃一驚：他們用來每天掃描亞馬遜網(wǎng)站的技術(shù)突然失靈了。

這可不是小事。與多數(shù)零售巨頭一樣，沃爾瑪也要依靠計算機程序掃描對手網(wǎng)站的價格，從而展開相應(yīng)的調(diào)整。即便只有50美分的差價也可能導(dǎo)致銷量受損。

但亞馬遜卻借助新策略屏蔽了這些機器人程序，令沃爾瑪措手不及。

知情人士表示，沃爾瑪技術(shù)部門用了好幾個星期都無法繞過封鎖，因而不得不通過二手渠道獲取亞馬遜的數(shù)據(jù)。

這件之前未被曝光的事情讓外界得以一窺亞馬遜如何憑借技術(shù)取得零售市場的主導(dǎo)地位。

身為全球最大網(wǎng)絡(luò)零售商的亞馬遜最為人所知的就是快速的配送和齊全的商品，而且提供自制劇等諸多視頻內(nèi)容。但該公司的后臺技術(shù)同樣在它的成功中扮演了重要角色。

對網(wǎng)絡(luò)機器人的靈活運用不僅可以讓亞馬遜充分了解對手的動向，還能在自己調(diào)價時把對手蒙在鼓里。

“參考亞馬遜會越來越困難。”加州零售定價軟件開發(fā)商Boomerang Commerce CEO、亞馬遜前經(jīng)理古魯·哈里哈蘭(Guru Hariharan)說。

沃爾瑪發(fā)言人拒絕討論今年1月發(fā)生的這件事情，但他表示，該公司一直在定期改進(jìn)技術(shù)，而且有多款追蹤工具。他表示，該公司的價值不僅來自價格，還來自店內(nèi)自取折扣等其他福利。

亞馬遜發(fā)言人稱，該公司知道競爭對手使用機器人追蹤器定價，但否認(rèn)采取任何措施來阻撓對手。“我們管理網(wǎng)站機器人的方式最近沒有任何變化。”她說。

由于機器人會降低網(wǎng)站的瀏覽速度，所以零售商都希望阻止這類程序訪問自己的網(wǎng)站。

路透社對21名熟悉機器人及其部署方式的人進(jìn)行了采訪，包括前任和現(xiàn)任沃爾瑪員工、亞馬遜前員工以及外部專家。但由于未獲授權(quán)，所以很多人都要求匿名。

多數(shù)人都指出，亞馬遜在方興未艾的網(wǎng)絡(luò)機器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

亞馬遜在方興未艾的網(wǎng)絡(luò)機器人大戰(zhàn)中處于領(lǐng)導(dǎo)地位。

該公司的技術(shù)優(yōu)勢有助于提升利潤率，而且對投資者也很有好處。自從2009年3月觸底以來，該股已經(jīng)上漲約15倍，而同期的標(biāo)準(zhǔn)普爾500指數(shù)漲幅僅為3倍。亞馬遜2015年的銷售額達(dá)到1000億美元——該公司稱，他們達(dá)到這一基準(zhǔn)的速度超過歷史上任何一家公司。

美麗新世界

自從亞馬遜10多年前幫助拓展這一模式以來，機器人驅(qū)動的定價給整個零售行業(yè)帶來了巨大的變革。

以往，零售店最多每周調(diào)價一次，因為更換標(biāo)簽的成本和時間成本都很高。而在電子商務(wù)世界，零售商卻可以隨意調(diào)價，有時候甚至達(dá)到每天數(shù)次，這都得益于綜合考慮了庫存、銷量預(yù)測和對手定價數(shù)據(jù)等各種算法。

為了保持競爭力，在線批發(fā)商Boxed等企業(yè)采用包括機器人在內(nèi)的許多方法確保其調(diào)價速度與對手之間保持在20分鐘之內(nèi)。

“這就像是持續(xù)一生的圣誕節(jié)。如果我們的定價不合適，銷量幾乎會立刻下滑。”Boxed CEO Chieh Huang說，他的公司專門銷售大包裝衛(wèi)生紙和寵物食品。

偽裝成人類

使用機器人查看公開網(wǎng)站上的大量數(shù)據(jù)被稱作爬取，背后的目的多種多樣。例如，谷歌會不斷爬取網(wǎng)站內(nèi)容，以便發(fā)展搜索引擎或銷售廣告。

而在電子商務(wù)行業(yè)，使用機器人則成為了一場“貓捉老鼠”游戲。企業(yè)一方面希望阻止競爭對手爬取自己的網(wǎng)站，另一方面又想滲透對手的網(wǎng)站。于是，專門提供這種服務(wù)的第三方服務(wù)相繼涌現(xiàn)。

為了避免對手獲取自己的數(shù)據(jù)，有的零售商使用了CAPTCHA技術(shù)，對文字和數(shù)字進(jìn)行歪曲，雖然人類依然可以閱讀，但機器人卻無法正確識別。亞馬遜并未采取這種措施，因為此舉會令部分客戶感到厭煩。

對于希望繞過這些封鎖措施的企業(yè)來說，如何將自己的電腦程序偽裝成人類是關(guān)鍵所在。有的定價技術(shù)專家會開發(fā)在網(wǎng)頁上移動的計算機光標(biāo)，模擬人類訪問網(wǎng)頁的過程，而不再直接瞄準(zhǔn)有價值的數(shù)據(jù)。還有一種使用多個計算機地址的技術(shù)，可以避免零售商將大量點擊追溯到相同的來源。

“這是一場軍備競賽。”愛爾蘭Profitero高級電子商務(wù)分析副總裁基斯·安德森(Keith Anderson)說，“攻防雙方每個星期或每個月都會開發(fā)新技術(shù)。”

亞馬遜今年1月封殺沃爾瑪時瞄準(zhǔn)了名為PhantomJS的專用網(wǎng)絡(luò)瀏覽器。與IE不同，這種瀏覽器是專為程序員設(shè)計的——這表明用戶并非普通購物者。知情人士表示，亞馬遜設(shè)計了一個數(shù)字幕布，對PhantomJS隱藏了列表。

由于此舉并非針對亞馬遜，所以目前還不清楚其他公司因此受到的影響。

路透社最近幾周進(jìn)行的測試表明，在美國大型零售商中，亞馬遜的機器人探測技術(shù)最為先進(jìn)。這些測試不僅限于主頁，還包括調(diào)價最頻繁的兩款產(chǎn)品。

此次測試由路透社委托舊金山Distil Network公司進(jìn)行，這是一家專門銷售反機器人工具的公司。在其中一項測試中，Distil開發(fā)的機器人對每家零售商的網(wǎng)站掃描3000次，但特意放滿了速度，以模擬人類的點擊過程。此舉騙過了多數(shù)零售商，但卻并未騙過亞馬遜。

被屏蔽的機器人無法看到亞馬遜上出售的DeLonghi咖啡機的價格。而根據(jù)定價追蹤網(wǎng)站camelcamelcamel.com的數(shù)據(jù)，僅在在4月25日當(dāng)天，這款產(chǎn)品就在亞馬遜網(wǎng)站上調(diào)價4次，從80.06美元上漲到88.16美元，漲價幅度超過10%。

機器人肆虐

盡管亞馬遜擁有領(lǐng)先的技術(shù)，但爬取該網(wǎng)站的機器人數(shù)量還是令人震驚。知情人士表示，其產(chǎn)品列表上最多有80%的點擊都來自機器人，而大型網(wǎng)站的這一比例大約只有三分之一。

除了收集定價數(shù)據(jù)的對手外，有的流量還來自科研院所，他們的目的是研究競爭、搜索引擎、廣告服務(wù)，甚至還有的是希望入侵亞馬遜帳號的犯罪分子。

沃爾瑪前員工表示，該公司的自動化定價戰(zhàn)略由一個位于硅谷的小團隊負(fù)責(zé)，還有來自印度及世界各地的數(shù)十名工程師負(fù)責(zé)處理代碼。

另有知情人士表示，截至幾年前，亞馬遜約有40名工程師負(fù)責(zé)提取和整理對手的數(shù)據(jù)。但亞馬遜并未披露自家爬蟲機器人團隊的組織結(jié)構(gòu)。

美國專利申請資料顯示，亞馬遜正在開發(fā)一項加密技術(shù)，可以迫使機器人解決復(fù)雜的算法才能訪問其網(wǎng)頁。但人類訪問者不會受此影響。

“亞馬遜既有能力探測機器人流量，也可以采取必要的手段。”斯科特·雅各布森(Scott Jacobson)說，他曾經(jīng)擔(dān)任亞馬遜經(jīng)理，目前在Madrona Venture Group擔(dān)任總經(jīng)理。“多數(shù)零售商都不具備這種能力。”

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表ESG跨境電商觀點或立場。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。