網(wǎng)絡爬蟲（也被叫做網(wǎng)頁蜘蛛、網(wǎng)絡機器人）是一種能夠“自動化瀏覽網(wǎng)絡”的程序，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內(nèi)容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。

　　企業(yè)Web流量中有高達60%可能是由網(wǎng)絡爬蟲產(chǎn)生的

現(xiàn)在，國際CDN企業(yè)Akamai發(fā)現(xiàn)，在企業(yè)Web流量中有高達60%可能是由網(wǎng)絡爬蟲產(chǎn)生的，而這些爬蟲則是由用戶或其他程序控制，并可能模擬人類的Web訪問行為。幾乎所有在線業(yè)務都可能受到各種類型的爬蟲流量的影響。這可能包括抓取內(nèi)容或價格信息的爬蟲、用欺騙手段增加廣告收入的自動“點擊”爬蟲、購買限量供應商品及服務而使合法客戶無法正常購買的“交易”爬蟲等。

為了阻止上述情況，企業(yè)往往會采取爬蟲檢測或防御解決方案來實現(xiàn)Web流量的自動發(fā)現(xiàn)及攔截，防止網(wǎng)絡爬蟲流量影響到企業(yè)網(wǎng)站的正常訪問與響應，進而對業(yè)務和IT產(chǎn)生一定的負面影響。

當然，有時爬蟲活動也可能會對企業(yè)業(yè)務產(chǎn)生有益的影響，但對站點性能的影響則不然。因此，企業(yè)機構需要一種新的方式，這種方式不僅要能夠識別所遇到的爬蟲活動類型，而且要能夠提供多種超越簡單攔截的、妥善應對不同類型爬蟲流量的最有效的技術。

對此，爬蟲管理器技術方案就顯得相當重要了，Akamai云安全解決方案高級副總裁兼總經(jīng)理Stuart Scholly表示，面對Web上充斥著爬蟲，目前企業(yè)普遍面臨兩個選擇，要么攔截要么默默忍受。但是很遺憾，這兩種選擇都不理想。而Bot Manager（爬蟲管理器）將改變這種局面，該方案將給予企業(yè)客戶能力和靈活性，使其可以根據(jù)業(yè)務目標，部署成功的爬蟲管理策略。

　　企業(yè)如何應對網(wǎng)絡爬蟲流量變得相當重要

與僅能實現(xiàn)Web流量自動發(fā)現(xiàn)及攔截的傳統(tǒng)爬蟲檢測或防御解決方案不同，Bot Manager方案旨在為在Web上開展業(yè)務的公司提供支持，使他們在處理爬蟲時能夠采用更新、更全面的策略。通過幫助用戶更好地識別并了解哪些類型的爬蟲流量進入他們的站點，以及提供超越簡單攔截的多樣化策略，Bot Manager能夠幫助客戶采取最恰當?shù)拇胧?，更好地控制爬蟲流量對業(yè)務和IT產(chǎn)生的正面或負面影響。

從許多方面來看，當企業(yè)進行在線銷售時，爬蟲活動是一種“經(jīng)營成本”，直到現(xiàn)在，也沒有一種好的方法來幫助企業(yè)深入了解爬蟲流量，并在此基礎上做出真正明智的決策。而在部署了Bot Manager后，來自互聯(lián)網(wǎng)零售商、美國汽車零部件有限公司（U.S Auto Parts Network，Inc.）的IT總監(jiān)William Avellan則表示，他們已獲得了足夠的信息，使其能夠解決長久以來面對的所有爬蟲問題，包括內(nèi)容竊取、價格信息爬取，甚至能夠識別托管這些爬蟲的IP傳輸運營商等等。由此可見，面對不可避免的網(wǎng)絡爬蟲，如何進行更為有效、更高級別的管理，對于企業(yè)業(yè)務來說，才是一條真正的“疏通之道”。