Python為譽為最容易學的編程語言，使用Python編寫爬蟲非常簡單，許多新手都選擇以爬蟲入門Python，那么學習爬蟲需要掌握哪些知識？學習Python，很多人都介紹不要盲目的學習，首先找個項目練手，在實現小項目的過程中會掌握這些零散的知識，而這些知識都是最為需要學習的，這樣有沒有影響呢？如何系統又科學的學習Python爬蟲？

　　1.簡單了解網頁基礎知識

　　大部分爬蟲都是按“發送請求——獲得頁面——解析頁面——抽取并儲存內容”這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。簡單來說，我們向服務器發送請求后，會得到返回的頁面，通過解析頁面之后，我們可以抽取我們想要的那部分信息，并存儲在指定的文檔或數據庫中。

　　在這部分你可以簡單了解HTTP協議及網頁基礎知識，比如POST\GET、HTML、CSS、JS，簡單了解即可，不需要系統學習。

　　2.學習Python包、Python的基礎知識

　　Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider等，建議你從requests+Xpath開始，requests負責連接網站，返回網頁，Xpath用于解析網頁，便于抽取數據。

　　如果你用過BeautifulSoup，會發現Xpath要省事不少，一層一層檢查元素代碼的工作，全都省略了。掌握之后，你會發現爬蟲的基本套路都差不多，一般的靜態網站根本不在話下，小豬、豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。

　　當然如果你需要爬取異步加載的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也基本沒問題了。

　　這個過程中你還需要了解一些Python的基礎知識：

　　文件讀寫操作：用來讀取參數、保存爬下來的內容

　　list(列表)、dict(字典)：用來序列化爬取的數據

　　條件判斷(if/else)：解決爬蟲中的判斷是否執行

　　循環和迭代(for……while)：用來循環爬蟲步驟

　　3.數據存儲清洗

　　爬回來的數據可以直接用文檔形式存在本地，也可以存入數據庫中。

　　開始數據量不大的時候，你可以直接通過Python的語法或pandas的方法將數據存為csv這樣的文件。

　　當然你可能發現爬回來的數據并不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習pandas包的基本用法來做數據的預處理，得到更干凈的數據。

　　4.學習scrapy爬蟲框架

　　掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的scrapy框架就非常有用了。

　　scrapy是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的selector能夠方便地解析response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

　　學會scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

　　5.學習數據庫基礎，應對大規模數據存儲

　　爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種數據庫是必須的，學習目前比較主流的MongoDB就OK。

　　MongoDB可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

　　因為這里要用到的數據庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

　　6.分布式爬蟲

　　爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。

　　分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握Scrapy+MongoDB+Redis這三種工具。

　　Scrapy前面我們說過了，用于做基本的頁面爬取，MongoDB用于存儲爬取的數據，Redis則用來存儲要爬取的網頁隊列，也就是任務隊列。

　　學習爬蟲需要掌握哪些知識？上文介紹了六點，此外也需要了解反爬蟲知識，因為編寫好爬蟲之后，要能獲得數據才是成功的，這個前提就是要成功突破反爬蟲機制，否則何談獲取數據呢。常見的反爬蟲有IP限制、驗證碼限制等等。比如說IP限制，可以使用精靈代理的IP進行突破，精靈代理可以提供全國上百家城市IP，完全可以滿足爬蟲的爬取需求。

　　如果可以成功的編寫爬蟲后，再掌握各種突破反爬蟲機制的方法，那么大部分網站都難不住你了。