我們在做爬蟲的過程中經常會遇到這樣的情況，最初爬蟲正常運行，正常抓取數據，一切看起來都是那么美好，然而一杯茶的功夫可能就會出現錯誤，比如403 Forbidden，這時候打開網頁一看，可能會看到“您的IP訪問頻率太高”這樣的提示。出現這種現象的原因是網站采取了一些反爬蟲措施。那么如何應對網站反爬蟲措施呢？

    1.使用代理

    在眾多的網站防爬措施中，有一種是根據ip的訪問頻率進行限制的，在某段時間內，當某個ip的訪問量達到一定的閥值時，該ip會被拉黑、在一段時間內被禁止訪問。這種時候，可以通過降低爬蟲的頻率，或者更改ip來應對。后者就需要有一個可用的代理ip池，以供爬蟲工作時切換。

    可以換著用多個代理IP來進行訪問，防止同一個IP發起過多請求而被封IP，比如：

    2.偽造cookies

    若從瀏覽器中可以正常訪問一個頁面，則可以將瀏覽器中的cookies復制過來使用，比如：

    注：用瀏覽器cookies發起請求后，如果請求頻率過于頻繁仍會被封IP，這時可以在瀏覽器上進行相應的手工驗證（比如點擊驗證圖片等），然后就可以繼續正常使用該cookies發起請求。

    3.偽造User-Agent

    在請求頭中把User-Agent設置成瀏覽器中的User-Agent，來偽造瀏覽器訪問。比如：

    在每次重復爬取之間設置一個隨機時間間隔

    如何應對網站反爬蟲措施？本文就如何解決這個問題總結出一些應對措施，這些措施可以單獨使用，也可以同時使用，效果更好。