大量的爬蟲會嚴重影響服務器，因此每個網站都有自己的反爬機制，就看誰的招數更有效了。面對反爬機制，爬蟲是怎么應對的呢？下面精靈代理帶大家一起去了解一下怎么有效應對反爬蟲？

    目前，對反爬蟲最有效的方法是使用代理IP！為什么這么說呢？

    因為IP資源有限，網站都會采用IP限制，而突破IP限制最好的方法就是使用代理IP，比如使用精靈代理（http://www.www.52chanpin.com），從精靈代理提取IP后，建立IP池，即可通過切換IP的方法突破IP限制。

    精靈代理擁有上千萬的IP池，完全可以滿足爬蟲的需求，而且ip的可用率保證95%以上，所有ip均為高質量的動態資源，還支持ip過濾，是理想款噢！

    除了使用代理IP，還可以在其他方面多注意：

    1.正常的訪問速度

    有一些防護措施完備的網站可能會阻止你快速地提交表單，或者快速地與網站進行交互。即使沒有這些安全措施，用一個比普通人快很多的速度從一個網站下載大量信息也可能讓自己被網站封殺。

    因此，雖然多進程程序可能是一個快速加載頁面的好辦法--在一個進程中處理數據，另一個進程中加載頁面--但是這對編寫好的爬蟲來說是恐怖的策略。還是應該盡量保證一次加載頁面加載且數據請求最小化。如果條件允許，盡量為每個頁面訪問增加一點兒時間間隔，即使你要增加兩行代碼。    合理控制速度是你不應該破壞的規則。過度消耗別人的服務器資源會讓你置身于非法境地，更嚴重的是這么做可能會把一個小型網站拖垮甚至下線。拖垮網站是不道德的，是徹頭徹尾的錯誤。所以請控制采集速度！

    2.構造合理的HTTP請求頭

    除了處理網站表單，requests模塊還是一個設置請求頭的利器。HTTP的請求頭是在你每次向網絡服務器發送請求時，傳遞的一組屬性和配置信息。HTTP定義了十幾種古怪的請求頭類型，不過大多數都不常用。

    每個網站都有不同的請求頭，如何獲取這個請求頭呢？可以用我從前提到過的Fiddler或者審查元素的方法，我們可以根據實際情況進行配置。

    3.設置Cookie的學問

    雖然cookie是一把雙刃劍，但正確地處理cookie可以避免許多采集問題。網站會用cookie跟蹤你的訪問過程，如果發現了爬蟲異常行為就會中斷你的訪問，比如特別快速地填寫表單，或者瀏覽大量頁面。雖然這些行為可以通過關閉并重新連接或者改變IP地址來偽裝，但是如果cookie暴露了你的身份，再多努力也是白費。

    在采集一些網站時cookie是不可或缺的。要在一個網站上持續保持登錄狀態，需要在多個頁面中保存一個cookie。有些網站不要求在每次登錄時都獲得一個新cookie，只要保存一個舊的“已登錄”的cookie就可以訪問。

    如果你在采集一個或者幾個目標網站，建議你檢查這些網站生成的cookie，然后想想哪一個cookie是爬蟲需要處理的。

    Cookie信息，也可以更具實際情況填寫。不過requests已經封裝好了很多操作，自動管理cookie，session保持連接。我們可以先訪問某個目標網站，建立一個session連接之后，獲取cookie。

    4.注意隱含輸入字段

    在HTML表單中，“隱含”字段可以讓字段的值對瀏覽器可見，但是對用戶不可見（除非看網頁源代碼）。隨著越來越多的網站開始用cookie存儲狀態變量來管理用戶狀態，在找到另一個最佳用途之前，隱含字段主要用于阻止爬蟲自動提交表單。