爬蟲存在于整個互聯網當中，許多企業都需要收集信息，而使用爬蟲可以更快的從海量信息中提取需要的信息，但是其他網站也不想白白把這些信息拱手讓出去，而且爬蟲采集信息也會對網站造成影響，因此網站會采用各種方法，比如IP限制、驗證碼限制、采用動態網頁加大難度等等。

　　對于IP限制、驗證碼限制，可以采用代理IP、驗證碼識別工具突破限制，而動態網頁，問題會更加復雜些，今天跟精靈代理一起去看看什么是動態網頁，如何爬取動態網頁。

　　一、什么是動態網頁

　　所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。

　　靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。

　　值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這里說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關系，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是采用了動態網站技術生成的網頁都可以稱為動態網頁。

　　總之，動態網頁是基本的html語法規范與Java、VB、VC等高級程序設計語言、數據庫編程等多種技術的融合，以期實現對網站內容和風格的高效、動態和交互式的管理。因此，從這個意義上來講，凡是結合了HTML以外的高級程序設計語言和數據庫技術進行的網頁編程技術生成的網頁都是動態網頁。

　　二、如何爬取動態網頁

　　第一種解決方案是采用一些第三方的工具，模擬瀏覽器的行為，去加載數據。

　　比如：Selenium、PhantomJs。

　　優點：不必考慮動態頁面的各種變化多端(無論動態數據如何變化，最終呈現在頁面上的效果是固定的)，我們只用關心最終的現實結果即可;可以統一處理。

　　缺點：性能低下，比如使用Selenium，每次我們都需要去啟動一個瀏覽器進程;配置繁瑣，不同的瀏覽器需要下載不同的驅動以及jar包，并且驅動和jar包之間有嚴格版本匹配關系，如果不匹配就不能使用。

　　第二種解決方案是分析頁面，找到對應請求接口，直接獲取數據。

　　優點：性能高，使用方便。我們直接獲取原數據接口(換句話說就是直接拿取網頁這一塊動態數據的API接口)，肯定會使用方便，并且改變的可能性也比較小。

　　缺點：缺點也是明顯的，如何獲取接口API?有些網站可能會考慮到數據的安全性，做各種限制、混淆等。這就需要看開發者個人的基本功了，進行各種分析了。

　　如何爬取動態網頁？網站是靜態的還是動態的，可以通過一些簡單的方法區分，比如有“查看更多”字樣或者打開網站時下拉才會加載內容出來的進本都是動態的，又或者在瀏覽器中查看頁面相應的內容、當在查看頁面源代碼時找不到該內容時就可以確定該頁面使用了動態技術。如果網頁使用了動態技術，可以采用上文介紹的方法處理。