如果經常使用同一個IP，容易遭到網站的封殺，特別是爬蟲，需要抓取大量的數據，但IP是無法滿足的，也突破不了網站次數的限制，因此爬蟲需要使用代理IP池，這爬蟲的代理ip池怎么建？下面跟精靈代理一起去了解一下代理IP池的搭建。

    一、選擇代理IP

    雖然免費，但是代理ip穩定性差需要經常更換，爬取后ip存在很多不可用ip需要定期篩選。

    免費代理ip比較適合學習使用，如果做項目研究的話建議購買穩定的代理ip，比如精靈代理。

    二、代理ip池的搭建

    Python中高層次的數據結構,動態類型和動態綁定,使得它非常適合于快速應用開發,也適合于作為膠水語言連接已有的軟件部件。用Python來搞這個代理IP池也很簡單，代碼分為6個模塊：

    Api：api接口相關代碼，目前api是由Flask實現，代碼也非常簡單?？蛻舳苏埱髠鹘oFlask，Flask調用ProxyManager中的實現，包括get/delete/refresh/get_all。

    DB：數據庫相關代碼，目前數據庫是采用SSDB。代碼用工廠模式實現，方便日后擴展其他類型數據庫。

    Manager：get/delete/refresh/get_all等接口的具體實現類，目前代理池只負責管理proxy，日后可能會有更多功能，比如代理和爬蟲的綁定，代理和賬號的綁定等等。

    ProxyGetter：代理獲取的相關代碼，抓取免費代理，也支持自己擴展代理接口。

    Schedule：定時任務相關代碼，現在只是實現定時去刷新代碼，并驗證可用代理，采用多進程方式。

    Util：存放一些公共的模塊方法或函數，包含GetConfig:讀取配置文件config.ini的類，ConfigParse: 集成重寫ConfigParser的類，使其對大小寫敏感， Singleton:實現單例，LazyProperty:實現類屬性惰性計算。

    其他文件：配置文件，Config.ini,數據庫配置和代理獲取接口配置，可以在GetFreeProxy中添加新的代理獲取方法，并在Config.ini中注冊即可使用。