当前位置:首页>帮助中心>如何使用雷神HTTP代理IP并开启多线程做数据抓取?

如何使用雷神HTTP代理IP并开启多线程做数据抓取?

发布日期:2020-05-28 09:14:57 来源:雷神HTTP

本文讲解如何在多线程中使用雷神代理IP服务。


动态代理IP每隔3-5秒会更新一批IP,每秒钟最多请求10次。正因为有这些限制,所以合理使用动态代理IP才会事半功倍,否则会被这些限制牵制,影响抓取速度。


正确使用方式如下图:



如何使用动态代理IP并开启多线程做数据抓取



步骤一:定义一个全局List变量,用于存放动态代理IP


步骤二:开启一个定时(3秒)任务,定时从API接口获取最新IP,清理全局List变量后,把最新IP存入List中


步骤三:每个抓取线程从全局List变量中随机获取一个代理IP,并使用。

用户登录

自动登录 忘记密码?

还没帐号?立即注册

用户注册

图形验证码

短信获取

我已阅读并同意 《用户协议》

已有账号?立即登录

忘记密码

图形验证码

短信获取

返回登录