在互聯上抓取用戶的信用數據是信用評級的重要手段，例如從支付寶網站抓取的交易記錄就能從側面反映出用戶的經濟實力。但在抓取這些信息時也遇到了人為設置的技術障礙。有些網站為了防止爬蟲抓取信息，做了IP限制。例如限定單個IP在每分鐘內只能訪問100次，那么一臺爬蟲服務器在每分鐘內只能發起100次網絡請求，當發起第101個請求時則會被目標服務器拒絕。，如何突破限制呢，答案是多IP爬蟲。

通過多IP爬蟲，又分為以下幾種形式：

1、通過ADSL撥號換IP。每撥一次就會有一個新IP，較好解決IP單一問題。

2、如果是局域網，帶路由器的，第一種方法可能不好用。這個時候可以模擬登陸路由器，控制路由器重新撥號，換IP，這其實是一種折中的辦法，曲線救國。

3、代理IP，利用購買的或者網上抓取的免費代理IP，實現多IP爬蟲，這種形式是最常見的。

4、分布式爬蟲。采用多個服務器、多個IP、多個slave爬蟲同時運行，由master負責調度。效率較高，屬于大型分布式抓取，一般用redis分布式抓取。