爬蟲如何抓取數據？如今互聯網無處不在，稍微了解互聯網知識的人都知道，爬蟲是用來爬取數據的，主要是用于搜索引擎。但你知道爬蟲是怎么抓取數據的嗎？

    爬蟲就像一只大蜘蛛，它將一個網站的所有內容與鏈接進行閱讀,并建立相關的全文索引到數據庫中,然后跳到另一個網站。當大家在搜索關鍵詞時，其實就是比對數據庫中的內容,找出與用戶相符合的，網絡爬蟲程序的質量決定了搜索引擎的能力。

    下面精靈代理跟大家分享一下爬蟲如何抓取數據，在抓取數據的過程中，會遇到哪些問題。

一、爬蟲的基本流程

發起請求：通過url向服務器發起request請求，請求可以包含額外的header信息。　　

獲取響應內容：如果服務器正常響應，那我們將會收到一個response，response即為我們所請求的網頁內容，或許包含HTML，Json字符串或者二進制的數據（視頻、圖片）等。

解析內容：如果是HTML代碼，則可以使用網頁解析器進行解析，如果是Json數據，則可以轉換成Json對象進行解析，如果是二進制的數據，則可以保存到文件進行進一步處理。

保存數據：可以保存到本地文件，也可以保存到數據庫（MySQL，Redis，Mongodb等）　

　 二、request請求包含什么

當我們通過瀏覽器向服務器發送request請求時，這個request包含了一些什么信息呢？

請求方式：最常用的請求方式包括get請求和post請求。post請求在開發中最常見的是通過表單進行提交，從用戶角度來講，最常見的就是登錄驗證。當你需要輸入一些信息進行登錄的時候，這次請求即為post請求。

url統一資源定位符：一個網址，一張圖片，一個視頻等都可以用url去定義。當我們請求一個網頁時，我們可以查看network標簽，第一個通常是一個document，也就是說這個document是一個未加外部圖片、css、js等渲染的html代碼，在這個document的下面我們會看到一系列的jpg，js等，這是瀏覽器根據html代碼發起的一次又一次的請求，而請求的地址，即為html文檔中圖片、js等的url地址。

request headers：請求頭，包括這次請求的請求類型，cookie信息以及瀏覽器類型等。 這個請求頭在我們進行網頁抓取的時候還是有些作用的，服務器會通過解析請求頭來進行信息的審核，判斷這次請求是一次合法的請求。所以當我們通過程序偽裝瀏覽器進行請求的時候，就可以設置一下請求頭的信息。

請求體：post請求會把用戶信息包裝在form-data里面進行提交，因此相比于get請求，post請求的Headers標簽的內容會多出Form Data這個信息包。get請求可以簡單的理解為普通的搜索回車，信息將會以?間隔添加在url的后面。

　三、response包含什么

響應狀態：通過Headers中的General可以看到status code。200表示成功，301跳轉，404找不到網頁，502服務器錯誤等。

響應頭：包括了內容的類型，cookie信息等。

響應體：請求的目的就是為了得到響應體，包括html代碼，Json以及二進制數據等。

　 四、簡單的請求演示

通過Python的request庫進行網頁請求：

輸出的結果就是還未渲染的網頁代碼，即請求體的內容?？梢圆榭错憫^的信息：

查看狀態碼：

還可以將請求頭添加到請求信息里面：

抓取圖片（百度logo）：

　五、如何解決JavaScript渲染問題

使用Selenium webdriver

輸入print(driver.page_source)可以看到，這次的代碼是渲染之后的代碼。