如今，互聯網的數據爆炸式的增長，僅靠人工采集數據不現實，絕大部分的人都采用爬蟲采集數據，雖然不同的爬蟲采集效果不一樣，但都可以滿足不同的需求，并通過挖掘數據獲得有價值的信息。

　　一個爬蟲的采集效果與爬蟲的框架也是有很大的關系，今天精靈代理小編就常用的Scrapy與PySpider框架來介紹一下，想要知道Scrapy與PySpider框架哪個好用，可以瀏覽下文。

　　一、Scrapy框架

　　Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

　　其最初是為了頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試

　　Scrapy 使用了 Twisted 異步網絡庫來處理網絡通訊。整體架構大致如下

　　Scrapy運行流程大概如下：

　　首先，引擎從調度器中取出一個鏈接(URL)用于接下來的抓取，引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，并封裝成應答包(Response)，然后，爬蟲解析Response，若是解析出實體（Item）,則交給實體管道進行進一步的處理。若是解析出的是鏈接（URL）,則把URL交給Scheduler等待抓取。

　　二、PySpider框架

　　PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：抓取、更新調度多站點的特定的頁面；需要對頁面進行結構化信息提??；靈活可擴展，穩定可監控。

　　而這也是絕大多數python爬蟲的需求 —— 定向抓取，結構化化解析。但是面對結構迥異的各種網站，單一的抓取模式并不一定能滿足，靈活的抓取控制是必須的。為了達到這個目的，單純的配置文件往往不夠靈活，于是，通過腳本去控制抓取是最后的選擇。

　　而去重調度，隊列，抓取，異常處理，監控等功能作為框架，提供給抓取腳本，并保證靈活性。最后加上web的編輯調試環境，以及web任務監控，即成為了這套框架。

　　pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲。

　　通過上文，至于Scrapy與PySpider框架哪個好用，需要看使用的場景。不同的爬蟲側重點不同，我們應該詳細進行了解Scrapy與PySpider，然后再考慮它們的身邊特點，選擇合適的爬蟲框架。

　　另外，上文僅僅是介紹了兩種框架，還有其他一些也非常優秀的爬蟲框架，以實現各種不同的需求。