我們生活在信息爆炸的時代，窮盡一個人的一生也無法瀏覽完萬分之一的網絡信息。采集信息也是，現在大數據時代，需要分析大量的數據進行挖掘有價值的工作，單靠人工采集也是采集不完的，這就需要使用到爬蟲。爬蟲可以大規模的進行采集，速度也遠超人工采集，但是爬蟲采集會被對方封殺，因此爬蟲需要偽裝。爬蟲模仿用戶行為是為了更好的隱藏自己的身份，借用戶的身份去訪問，從而完成采集工作。那么爬蟲如何模仿用戶行為呢？

　　1.user-agent

　　這也是一個比較重要的數據特征，要做在爬蟲里面靈活設置，最好和目前主流瀏覽器環境的user-agent一模一樣，隨著瀏覽器的版本變化，你的user-agent也會變化。pyspider的user-agent是在一個爬蟲項目里面做爬取全局設置。

　　2.模仿瀏覽器請求

　　有個簡便方法：看chrome網絡請求，然后copy as cURL，pyspider的crawl接口的URL字段可以直接支持curl，這種方式發送的請求和瀏覽器請求完全一致，如果爬取方設定一些針對請求參數特征的反爬措施，這種方式一般就足夠了，不過爬取方如何做了基于數據挖掘的反爬機制，那在請求參數的構造設計上還得下更大功夫。

　　3.cookie

　　這個東西可能會被很多爬蟲開發者所忽視，實際上它是非常重要的，cookie行為的仿真不但涉及到用戶行為模擬，而且會直接導致某些訪問請求碰到權限或者其他方面的錯誤。pyspider的cookie可以直接在爬取請求里面設置。

　　4.登錄session問題

　　session問題在客戶端主要是cookie問題，如果你能做到cookie全局仿真，session肯定不是問題。

　　5.IP隱藏

　　現在網上有很多高匿http代理，所謂高匿代理，就是代理對被訪問服務器完全隱藏其被代理的客戶端。使用網上的高匿代理時，一定要先在自己的服務器上試一下，防止偽高匿發生。

　　使用高匿代理，可以用精靈代理，這是目前比較多用戶喜歡使用的代理IP之一，IP資源量大，所有IP均為高匿，可以很好的隱藏爬蟲的身份，同時還能突破IP限制，使用大量IP進行切換，可以持續訪問目標。

　　如果我的網站總是讓人爬來爬取的，經常被虛擬訪問者騷擾，我也是蠻煩的，而且如果遇到“霸道”一點的爬蟲，都能直接把服務器卡死。因此，我們在爬取別人網站的時候，也多為對方考慮考慮。