网络工作者在爬虫的过程中，经常会遇见很多网站的防爬取技术，有时候因为采集强度和速度太大，会给对方服务器带去太多的压力，IP很有可能会被禁止访问，所以在爬虫过程中需要很多的IP来实现自己IP地址的不停切换，达到正常抓取信息的目的。

  通常情况下，爬虫用户是不会自己维护服务器的，不仅因为技术含量太高，成本也很高。也有很多人会在网上放一些免费的代理ip，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。因为网上公布的代理ip不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。

  现在的网络爬虫工作者需要躲避防爬取程序，可以说是一个很普遍的需求了。做网络爬虫时，一般对代理IP的需求量比较大。因为在爬取网站信息的过程中，很多网站做了反爬虫策略，可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。

  代理IP的获取，一般有以下几个途径可以获得：从免费的网站上获取，但质量很低，能用的IP极少。需要实用性，稳定性，安全性，不推荐大家使用免费IP。而自己搭建代理服务器，需要大量的服务器资源，一来是因为技术含量过高，二来成本太高，也不推荐。最方便快捷的方法就是使用代理IP，在这里推荐给大家，雷神HTTP代理，提供海量代理ip资源，可以根据用户设置不同类型的HTTP代理，能帮你实现ip地址的不停切换，达到正常抓取信息的目的。