網頁，有靜態也有動態的，一般我們抓包可以看出真正的數據實體是由哪一個異步請求獲取到的，但是獲取數據的請求鏈接也可能由其他js產生，這個時候我們希望直接拿到js加載后的最終網頁數據。如果使用java，那么java怎么抓取動態網頁數據？下面跟精靈代理去了解一下動態網頁的抓取方法。

　　如果只是抓取網絡上的特定的數據，比如靜態網頁，就是再簡單不過了，直接使用Jsoup：

　　Documentdoc=Jsoup.connect(url).timeout(2000).get();

　　獲取到Document，然后就想干嘛就干嘛了。

　　但是一旦碰到一些動態生成的網站就不行了，由于數據是網頁加載完成后執行js代碼加載的，或者是用戶滑動瀏覽觸發的js加載數據，這樣的網頁使用Jsoup顯然拿不到想要的數據。

　　后來使用Selenium來獲取動態網頁的數據，可以成功的拿到數據。將程序打包后放在一臺機器上運行，開始測試，然后結果不那么理想，經常會出現內存溢出，或者瀏覽器升級造成驅動與瀏覽器版本不匹配等一些列問題。

　　解析動態網頁的一種方法：

　　首先動態網頁，既然是動態的，那么肯定是在瀏覽器加載網頁之后又對服務器驚醒了網絡請求，如果我拿到網絡請求的url，模擬參數，自己發送請求，解析數據不是更好。

　　抓包工具：fiddle

　　打開瀏覽器，打開目標url，然后就可以在fiddle看到打開這個網頁所有的網絡請求，一個一個查看網絡請求：

　　先看左邊的圖標，直接跳過圖片，顯然我們需要的是數據，重點查看文本格式的請求，然后右鍵copy->justurl復制url到瀏覽器看看能拿到什么，最后發現18行的請求就是數據接口，可以直接拿到數據，而且是json格式！

　　java怎么抓取動態網頁數據？上文分享了解析動態網頁的一種方法，僅供參考！