雖然說，大部分的數據，都可以通過各種的方法實現采集，但是在采集的過程中，肯定會遇到各種各樣的麻煩，有一些網站的反爬蟲機制特別嚴格，下面分享一些比較常見的數據采集容易遇到哪些問題。在進行采集數據之前，需要先考慮一下這些反爬蟲機制，而且每個網站的反爬蟲機制都不一樣，能解決這些問題，才能順利的采集到數據。

　　一、app數據采集容易遇到哪些問題

　　1.模擬器中的坑

　　APP自動識別你的運行環境進行屏蔽，最厲害的還是某信，連你是用模擬器打開還是真機打開，是什么內核的，全部進行限制。曾經見過牛人，找某手機廠商專門定做真機來配合。

　　2.簽名算法

　　以某信的文章列表頁及某信息頁為例，對其http訪問進行抓包，會發現其url的一個核心參數是我們無法知道如何生成的，這就導致，我們不可能直接用該url進行信息爬??；簽名算法如果無法破解，HTTP這條路就是死路了。

　　3.帳號的坑

　　這個坑就有點大了，要找號、養號，都不是件容易的事情，更慘的是封號，真真讓你一夜回到解放前。

　　4.http爬取回來的信息和頁面顯示不一致

　　以某信的某信息頁為例，對比直接訪問某信頁面及http爬取的信息，可明顯發現http爬取到的信息較少。造成得兩種方式都用，才能既照顧速度又照顧完整性。

　　二、網頁數據爬取容易遇到哪些問題

　　1.某些網站阻止爬蟲工具

　　有一些網站為了防止一些惡意抓取，會設置防抓取程序，你會發現明明很多數據顯示在瀏覽器上，但是卻抓取不出來。

　　2.亂碼問題

　　當然我們成功抓取到網頁信息之后，也不是可以順利進行數據分析的，很多時候我們抓取到網頁信息之后，會發現我們抓取的信息都亂碼了。

　　3.網頁不定時更新

　　網絡上的信息都是不斷更新的，所以我們在抓取信息的過程中，需要定期來進行操作，也就是說我們需要設置抓取信息的時間間隔，以避免抓取網站的服務器更新，而我們做的都是無用功。

　　4.IP被封禁

　　如果你在客戶端遇到了HTTP錯誤，尤其是403禁止訪問錯誤，這可能說明網站已經把你的IP當作機器人了，不再接受你的任何請求。你要么等待你的IP地址從網站黑名單里移除，要么就換個IP地址（使用精靈代理）。

　　上文介紹了數據采集容易遇到哪些問題，采集手機app數據與采集網頁數據會遇到的問題大部分是不一樣的，進行采集時，需要根據具體情況分析。