都說爬蟲比較簡單，容易學，到底多簡單呢？今天精靈代理就為大家介紹一下如何編寫簡單爬蟲，以及高級爬蟲怎么編寫的方法。爬蟲是不是越高級越好呢？

　　一、如何編寫簡單爬蟲

　　1.分析頁面請求格式

　　2.創建合適的http請求

　　3.批量發送http請求，獲取數據

　　舉個例子，直接查看攜程生產url。在詳情頁點擊“確定”按鈕，會加載價格。假設價格是你想要的，那么抓出網絡請求之后，哪個請求才是你想要的結果呢？

　　答案出乎意料的簡單，你只需要用根據網絡傳輸數據量進行倒序排列即可。因為其他的迷惑性的url再多再復雜，開發人員也不會舍得加數據量給他。

　　二、高級爬蟲怎么編寫

　　1.PhantomJs

　　這個是一個極端的例子。這個東西本意是用來做自動測試的，結果因為效果很好，很多人拿來做爬蟲。但是這個東西有個硬傷，就是：效率。此外PhantomJs也是可以被抓到的，出于多方面原因，這里暫時不講。

　　2.模擬JavaScript

　　有些教程會說，模擬javascript，抓取動態網頁，是進階技巧。但是其實這只是個很簡單的功能。因為，如果對方沒有反爬蟲，你完全可以直接抓ajax本身，而無需關心js怎么處理的。如果對方有反爬蟲，那么javascript必然十分復雜，重點在于分析，而不僅僅是簡單的模擬。

　　換句話說：這應該是基本功。

　　3.分布式

　　通常會有一些教材告訴你，為了爬取效率，需要把爬蟲分布式部署到多臺機器上。這完全是騙人的。分布式唯一的作用是：防止對方封IP。封IP是終極手段，效果非常好，當然，誤傷起用戶也是非常爽的。

　　上文介紹了如何編寫簡單爬蟲，以及高級爬蟲怎么編寫的方法，越是低級的爬蟲，越容易被封鎖，但是性能好，成本低。越是高級的爬蟲，越難被封鎖，但是性能低，成本也越高。

　　當成本高到一定程度，我們就可以無需再對爬蟲進行封鎖。經濟學上有個詞叫邊際效應。付出成本高到一定程度，收益就不是很多了。