隨著企業(yè)逐漸將應(yīng)用程序轉(zhuǎn)移至云端，并通過(guò)應(yīng)用程序編程接口（API）暴露各種功能，網(wǎng)絡(luò)罪犯也紛紛快速轉(zhuǎn)向利用這一新暴露出來(lái)的攻擊界面。借助機(jī)器爬蟲(chóng)，黑客能夠大幅增加其攻擊的波及面和有效性。與許多新技術(shù)的情況類似，安全再一次滯后了。

　　管理咨詢公司AArete技術(shù)實(shí)踐總經(jīng)理John Carey稱，問(wèn)題在于企業(yè)必須合理安排其安全預(yù)算。客戶通常是看不到反機(jī)器爬蟲(chóng)技術(shù)方面的投入的。他說(shuō)：“工具和技術(shù)稀缺，而且越來(lái)越貴。同時(shí)，由于是個(gè)有利可圖的犯罪領(lǐng)域，威脅范圍也正在擴(kuò)大。”

　　針對(duì)API的機(jī)器爬蟲(chóng)攻擊問(wèn)題愈趨嚴(yán)峻

　　今年早些時(shí)候，安全公司Radware和研究公司Osterman Research發(fā)布了一份報(bào)告，指出2020年有98%的企業(yè)遭受過(guò)針對(duì)其應(yīng)用程序的攻擊，82%報(bào)告稱遭到惡意程序攻擊。最常見(jiàn)的攻擊類型是拒絕服務(wù)（DoS），86%的企業(yè)都經(jīng)歷過(guò)；網(wǎng)絡(luò)爬蟲(chóng)攻擊次之，84%的企業(yè)遭遇過(guò)；賬戶劫持則有75%的企業(yè)報(bào)告過(guò)。

　　受訪企業(yè)中55%將API安全當(dāng)做“首要工作”，59%表示要在2021年“大力投資”API安全。僅四分之一的企業(yè)表示用過(guò)機(jī)器爬蟲(chóng)程序管理工具。至于明年，59%的企業(yè)計(jì)劃大力投資API防護(hù)，51%打算投入Web應(yīng)用防火墻，但僅32%考慮投資反爬蟲(chóng)管理工具。此外，僅52%的企業(yè)將安全完全集成進(jìn)API持續(xù)交付，而集成進(jìn)Web應(yīng)用的比例則是63%。

　　情況只會(huì)越來(lái)越糟數(shù)字經(jīng)濟(jì)保護(hù)委員會(huì)9CSDE）、消費(fèi)技術(shù)協(xié)會(huì)和美國(guó)電信協(xié)會(huì)（USTelecom）3月的一份報(bào)告指出，由于2025年物聯(lián)網(wǎng)設(shè)備的數(shù)量預(yù)計(jì)可達(dá)到800億，相當(dāng)于全球人口數(shù)量的十倍，機(jī)器爬蟲(chóng)的破壞潛力也將隨其利用物聯(lián)網(wǎng)設(shè)備而呈指數(shù)級(jí)增長(zhǎng)。API是很容易得手的目標(biāo)，因?yàn)槠髽I(yè)可以通過(guò)API將后端數(shù)據(jù)和功能暴露給可信合作伙伴、客戶和公眾。CSDE建議采用API網(wǎng)關(guān)來(lái)輔助抵御惡意機(jī)器爬蟲(chóng)。

　　根據(jù)安全公司GreyNoise Intelligence的數(shù)據(jù)，在過(guò)去三個(gè)月里，有超過(guò)6800個(gè)IP地址一直在掃描互聯(lián)網(wǎng)上的ENV文件（用于存儲(chǔ)數(shù)據(jù)庫(kù)登錄憑證、口令和API令牌的配置文件）。GreyNoise研究主管Nathan Thai透露，這些掃描流量中，1.4%已知呈良性。“一些安全公司會(huì)掃描這些文件，他們沒(méi)有惡意，只是在做調(diào)查或者編撰報(bào)告。”

　　另外23%的流量就是惡意的了，因?yàn)橄嗤腎P地址還參與了其他可疑行為。剩下75%歸屬未知類別，可能是無(wú)害的研究，也可能是網(wǎng)絡(luò)罪犯在執(zhí)行被動(dòng)監(jiān)視，好根據(jù)監(jiān)視情況通過(guò)其他渠道做別的壞事。Thai稱：“通常情況下，他們會(huì)一次做完，因?yàn)樗麄兏静辉诤鯐?huì)不會(huì)被逮到。”最大的流量來(lái)源是哪兒呢？云托管提供商Amazon、Linode、微軟、阿里巴巴和DigitalOcean。

　　而且這種活動(dòng)還在升級(jí)。過(guò)去六個(gè)月來(lái)，執(zhí)行機(jī)會(huì)性ENV爬取的機(jī)器爬蟲(chóng)的活動(dòng)規(guī)模直接翻了個(gè)倍。Imperva的《2021惡意僵尸網(wǎng)絡(luò)報(bào)告》揭示，惡意機(jī)器爬蟲(chóng)如今占據(jù)了所有網(wǎng)站流量的四分之一，相較于去年上升了6%，而且三分之一的登錄嘗試都是惡意的。

　　更糟糕的是，惡意爬蟲(chóng)程序還越來(lái)越智能了。Imperva應(yīng)用安全戰(zhàn)略總監(jiān)Edward Roberts表示：“更難以檢測(cè)和阻止的高級(jí)僵尸程序構(gòu)成了去年惡意爬蟲(chóng)流量的主體。”這種惡意程序是造成API高速濫用、誤用及攻擊的根本原因。隨著API數(shù)量每年成倍增長(zhǎng)，惡意黑客也有了更多途徑來(lái)入手敏感數(shù)據(jù)。

　　如何利用針對(duì)API的機(jī)器爬蟲(chóng)攻擊

　　佛瑞斯特研究所首席分析師Sandy Carielli表示，爬蟲(chóng)程序常用于憑證填充攻擊，也可用于庫(kù)存囤積。她說(shuō)：“當(dāng)限量版運(yùn)動(dòng)鞋、音樂(lè)會(huì)門(mén)票或最新游戲系統(tǒng)等搶手商品開(kāi)始發(fā)售時(shí)，機(jī)器爬蟲(chóng)會(huì)搶在合法人類用戶之前一擁而上，瞬間搶光庫(kù)存。”然后爬蟲(chóng)程序運(yùn)營(yíng)者就可以轉(zhuǎn)售這些商品牟取暴利了。

　　Carielli表示，企業(yè)也會(huì)使用機(jī)器爬蟲(chóng)。“不道德的公司會(huì)用爬蟲(chóng)程序從競(jìng)爭(zhēng)對(duì)手的網(wǎng)站上爬取價(jià)格，然后將自己的價(jià)格設(shè)得略低一點(diǎn)，或者爬取高端產(chǎn)品的產(chǎn)品信息和圖片，再用在自己的網(wǎng)站上兜售假貨。”

　　DDoS工具和Web應(yīng)用防火墻防不住所有類型的爬蟲(chóng)程序攻擊。企業(yè)需要專用的反爬蟲(chóng)程序管理解決方案。Carielli稱：“注意，爬蟲(chóng)攻擊合法業(yè)務(wù)邏輯。你不是要阻止所有人登錄或購(gòu)買(mǎi)產(chǎn)品，而是只阻止惡意爬蟲(chóng)。”

　　看一家銀行是如何對(duì)抗惡意爬蟲(chóng)的

　　一家中型金融機(jī)構(gòu)的網(wǎng)絡(luò)安全技術(shù)經(jīng)理Jeff表示，被阻止的流量中85%都來(lái)自惡意爬蟲(chóng)程序。其余15%要么是地理封禁的登錄嘗試，要么是合法人類用戶嘗試太多次登錄，或者使用了過(guò)時(shí)代理或應(yīng)用。

　　不是所有機(jī)器爬蟲(chóng)網(wǎng)絡(luò)流量都會(huì)被阻止。有些流量來(lái)自良性爬蟲(chóng)程序。Jeff稱：“我們與Quicken和Mint等其他金融機(jī)構(gòu)和聚合器合作。從某種意義上講，這些都是爬蟲(chóng)網(wǎng)絡(luò)，因?yàn)檫@就是在多個(gè)站點(diǎn)執(zhí)行多項(xiàng)功能的API。惡意爬蟲(chóng)程序則只要能切進(jìn)來(lái)就可以造成大量破壞。最糟糕的情況是，惡意爬蟲(chóng)程序能夠冒充用戶，收集該用戶的財(cái)務(wù)信息。”

　　網(wǎng)絡(luò)罪犯也能以其他方式利用機(jī)器爬蟲(chóng)網(wǎng)絡(luò)。例如，他們可以利用網(wǎng)頁(yè)爬蟲(chóng)找出哪家銀行提供最佳費(fèi)率，然后創(chuàng)建賬戶用來(lái)洗錢(qián)。Jeff表示：“你會(huì)發(fā)現(xiàn)有機(jī)器爬蟲(chóng)網(wǎng)絡(luò)不斷利用真實(shí)賬戶轉(zhuǎn)移資金，只不過(guò)是以自動(dòng)化的方式轉(zhuǎn)移。網(wǎng)絡(luò)罪犯還會(huì)利用機(jī)器爬蟲(chóng)網(wǎng)絡(luò)來(lái)繞過(guò)限制。他們可能位于受限制的國(guó)家，將機(jī)器爬蟲(chóng)網(wǎng)絡(luò)設(shè)在不受限國(guó)家的云提供商處，從而繞開(kāi)合規(guī)監(jiān)管。”

　　為識(shí)別機(jī)器爬蟲(chóng)程序，Jeff所在的公司審查機(jī)器人程序的用戶代理名稱和IP地址。如果是已知惡意IP地址，就立即阻止。然后查看其與API的交互方式，查找cookie或會(huì)話重放、異常行為模式和其他可疑行為的跡象。

　　Jeff稱：“如果請(qǐng)求的第一個(gè)頁(yè)面是賬戶狀態(tài)頁(yè)而不是登錄頁(yè)面，那就不正常了。假設(shè)我們知道某賬戶持有者是個(gè)22歲的大學(xué)生，每?jī)芍苤芪鍟?huì)存入200美元，而現(xiàn)在開(kāi)始每周幾次存入大量現(xiàn)金，那事情就不對(duì)勁了。”

　　Jeff拒絕透露銀行內(nèi)部使用了什么工具來(lái)識(shí)別惡意行為。而在外圍邊緣，他們采用Salt Security。該工具的人工智能和機(jī)器學(xué)習(xí)大幅減輕了內(nèi)部安全團(tuán)隊(duì)的工作量。

　　只要發(fā)現(xiàn)一起機(jī)器爬蟲(chóng)程序攻擊，往往該攻擊中的所有請(qǐng)求都有某種共性，比如相似的請(qǐng)求構(gòu)造模式，或者共同的源地址，或者都使用同一個(gè)代理。Salt Security首席產(chǎn)品官Elad Koren稱：“如果是合法請(qǐng)求，就會(huì)按一定順序進(jìn)來(lái)。”這樣就可以使用通用參數(shù)識(shí)別同屬于該攻擊的其他流量，或者標(biāo)記目標(biāo)賬戶以加強(qiáng)安全防護(hù)。Koren表示：“機(jī)器爬蟲(chóng)網(wǎng)絡(luò)通常只是攻擊的一部分。加上賬戶劫持，一拿到登錄憑證，他們就能借助更高級(jí)的工具深入進(jìn)來(lái)，卷走資金。”

　　常用機(jī)器爬蟲(chóng)網(wǎng)絡(luò)檢測(cè)技術(shù)

　　Radware和Osterman Research的調(diào)查研究顯示，Web應(yīng)用防火墻（WAF）是檢測(cè)機(jī)器爬蟲(chóng)流量最常用的技術(shù)，48%的企業(yè)都使用這種技術(shù)。此外，47%的企業(yè)查找已知惡意IP地址，43%使用全自動(dòng)區(qū)分計(jì)算機(jī)和人類的圖靈測(cè)試（CAPTCHA），34%采用速率限制，26%構(gòu)建自有解決方案，僅24%使用專用反機(jī)器爬蟲(chóng)程序技術(shù)。

　　Constellation Research副總裁兼首席分析師Andy Thurai稱：“只要實(shí)現(xiàn)得當(dāng)，CAPTCHA非常有效。我們知道，抵御機(jī)器爬蟲(chóng)程序的成功率高達(dá)90%。一般說(shuō)來(lái)，視覺(jué)處理挑戰(zhàn)非常有效，需要人腦來(lái)解決。”

　　速率限制和WAF也很有效。Thurai表示：“實(shí)現(xiàn)得當(dāng)?shù)腁PI安全應(yīng)當(dāng)按用戶、位置和身份限制API使用的速率，或者阻止不受支持的協(xié)議、調(diào)用方式或可疑包頭或內(nèi)容。”專用機(jī)器爬蟲(chóng)程序防御解決方案還會(huì)監(jiān)測(cè)規(guī)模、簽名、地理頻次和流量?jī)?nèi)容等流量特征。

　　區(qū)分良性機(jī)器爬蟲(chóng)程序和惡意機(jī)器爬蟲(chóng)程序很有必要。例如，大多數(shù)客戶通信都遷移到了聊天機(jī)器人等機(jī)器人程序上了。所以，任意給定時(shí)間上都有大量良性機(jī)器人程序流量流經(jīng)網(wǎng)絡(luò)。模式識(shí)別有助于區(qū)分這二者。