爬蟲需要通過代理進行網絡的突破，否則只能非常緩慢的采集數據，這就沒有意義了，使用爬蟲目的就是要快并大量進行采集，在使用代理方面上，也有一些問題。比如：

　　都知道免費代理的IP有效性非常低，但不想花錢，還是需要進行免費IP的抓取，并且進行IP有效性檢測。但你知道怎么抓取免費IP嗎，又是怎么檢測代理是否有效的呢？

　　一、怎么抓取免費IP

　　提供免費代理IP的網站還挺多的，可以在網上搜索并進行爬取，比如：

　　其他地區或類型的可自行改URL，可能是網站內容在實時更新的原因，若從第一頁開始抓取不怎么穩定，所以我從第二頁開始抓取，打印部分結果如下：

　　二、怎么檢測代理是否有效

　　由于所處的網絡可能連不上此代理或該代理連不上目標網址等原因，我們抓取的代理有可能是無效的，我們有必要驗證所抓取代理IP的有效性。在urllib.request包中的ProxyHandler類可以設置代理訪問網頁，代碼如下：

　　若IP是有效的，則可打印出網頁源碼，否則會出現錯誤。所以我們可以通過以上代碼對所抓取的代理IP逐個進行驗證。

　　三、多線程快速驗證

　　按順序逐個驗證代理IP的有效性速度比較慢，python中有多線程模塊，多線程類似于同時執行多個不同程序，使用多線程可以把占據長時間的程序中的任務放到后臺去處理，在一些需要等待的任務實現上線程就比較有用了。多線程驗證的主要程序如下：

　　程序部分運行結果如下：

　　親測多線程驗證比單線程驗證快了好幾倍，所以以后在爬取網頁量比較大時就可以先用此程序抓一些有效的代理IP，這樣就可以解決IP被屏蔽的問題啦。

　　怎么檢測代理是否有效？通過上文，可以知道使用多線程快速驗證IP的可用性。其實免費IP即使不花錢，但時間成本也不低，對于一個技術而言，時間成本是最高的，為了提升工作效率，還是建議去付費。精靈代理的動態高質量代理IP很適合用來做爬蟲，不妨一試！