電商興起后，越來越多的企業通過爬蟲采集電商數據，并從中挖掘到有價值的資料，那么爬蟲是如何知道哪些數據是有用的，哪些數據沒有用呢？

其實不可用的數據比較多，如果能夠不采集這些無用的數據，將會大大的提高工作效率。另外，采集完數據后，也還需要進一步通過數據的分析，過濾掉一些無用的數據，那么python怎么做數據分析？下面跟精靈代理一起去了解一下數據分析問題。

一、爬蟲部分

在這一篇文章中我們會以淘寶為例,爬取淘寶的店鋪和商家信息,然后去進行分析,首先我們打開淘寶首頁,搜索你想要查詢的產品：

這里我們會發現在商品信息哪里會有商品的價格,商品的銷量,商家店鋪名稱以及商家的地址,這時候我們就需要去解析網頁,去從網頁中尋找這些信息,在處理在這些信息我們要用到的是正則匹配公式.(建議多嘗試幾次,因為有時候服務器不太好會匹配不到)。

另外在實現翻頁的時候,淘寶的頁碼公式是44(k-1)

我們匹配的只需要是藍色地部分,其中需要匹配的是(.*?),不需要匹配的是.*?,detail_url"這個不需要匹配。

在匹配之后,我們需要將爬取的數據寫入文件中,這時候就需要引入pandas模塊來去進行處理,寫入文件保存在csv文件中.(csv文件無論是在我們機器學習或者是爬蟲里都是處理數據的關鍵文件),在保存完數據之后,我們要對數據進行處理,加上標題,方便之后處理

在這個例子,我們分析的是店家的銷售數據: 這時候銷售總額=銷量*單價

二、數據分析處理部分

在這一個部分我們處理的是pandas處理數據和matplotlib來繪制圖形.

最后使用plot把圖顯示出來:

樣式1

樣式2

這時候銷量的好壞就可以一目了然,當然,我們還可以做的還可以更多,但是這一篇文章的作用是希望大家能夠去動手做更多有意思的事,這才是學習的意義。

最后代碼部分：

代碼1

代碼2