我们现在大部分的数据，都可以通过各种的方法实现采集，但是在采集的过程中难免会遇到各种各样的问题，下面我们来说说数据采集容易遇到的一些问题。

  一、app数据采集容易遇到哪些问题

  1）模拟器中的坑

  APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

2）签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

3）帐号

找号、养号，都不是件容易的事情，更惨的是封号，让你一夜回到解放前。

4）http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

二、网页数据爬取容易遇到哪些问题

1）某些网站阻止爬虫工具

有一些网站为了防止一些恶意抓取，会设置防抓取程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。

2）乱码问题

我们成功抓取到网页信息之后，也不是可以顺利进行数据分析的，很多时候我们抓取到网页信息之后，会发现我们抓取的信息都乱码了。

3）网页不定时更新

网络上的信息都是不断更新的，所以我们在抓取信息的过程中，需要定期来进行操作，也就是说我们需要设置抓取信息的时间间隔，以避免抓取网站的服务器更新，而我们做的都是无用功。

4）IP被封禁

如果你在客户端遇到了HTTP错误，这可能说明网站已经把你的IP当作机器人了，不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除，要么就换个IP地址（推荐使用雷神代理）。

以上就是数据采集容易遇到的几个问题，我们在进行采集遇到问题时，需要根据具体情况分析。