這幾天在爬一個網站，網站做了很多反爬蟲工作，爬起來有些艱難，花了一些時間才繞過反爬蟲。在這里把我寫爬蟲以來遇到的各種反爬蟲策略和應對的方法總結一下。

反爬蟲主要有以下幾種方式：

1、通過UA判斷。這是最低級的判斷，一般反爬蟲不會用這個做唯一判斷，因為反反爬蟲非常容易，直接隨機UA即可解決。

2、通過單IP頻繁訪問判斷。這個判斷簡單，而且反反爬蟲比較費力，反爬蟲絕佳方案。需采用多IP抓取。

3、通過Cookie判斷，例如通過會員制賬號密碼登陸，判斷單賬號短時間抓取次數判斷。這個反反爬蟲也很費力。需采用多賬號抓取。

4、動態頁面加載。這個考驗前端工程師的功底，如果前端寫的好，各種JS判斷，各種邏輯，像百度、淘寶一樣，post登錄很難。較好的方法，但是對于大牛，還是防不勝防。反反爬蟲多采用渲染瀏覽器抓取，效率低下。

5、采用驗證碼。這里要么是登錄的時候有驗證碼，要么是判斷是爬蟲時，不封IP，而是采用驗證碼驗證，。驗證碼是反爬蟲性價比較高的方案。反反爬蟲一般接入OCR驗證碼識別平臺或者人工打碼平臺，亦或者利用Tesseract OCR識別，亦或者采用神經網絡訓練識別驗證碼等。

精靈代理IP平臺專業的企業級高質量代理IP供應平臺，專業提供HTTP代理、HTTPS代理IP和Socks5代理IP，且常年提供免費代理IP為技術愛好者免費學習代理IP知識所用，歡迎咨詢。