当前位置:首页>帮助中心>雷神HTTP—爬虫加代理常用的三种方式

雷神HTTP—爬虫加代理常用的三种方式

发布日期:2020-06-12 09:57:29 来源:雷神HTTP

第一种:

selenium加上代理,selenium主要是实现自动化登录验证等操作

1.Selenium调用代理  

from selenium import webdriver  proxy='123.58.10.36:8080'  chrome_options=webdriver.ChromeOptions()  chrome_options.add_argument('--proxy-server=http://'+proxy)  browser=webdriver.Chrome(chrome_options=chrome_options)  browser.get('http://httpbin.org/get')

第二种;

2.requests调用代理 

 import requests  proxy='123.58.10.36:8080' #本地代理  #proxy='username:password@123.58.10.36:8080'  proxies={  'http':'http://'+proxy,  'https':'https://'+proxy  }  try:  response=requests.get('http://httpbin.org/get',proxies=proxies)  print(response.text)  except requests.exceptions.ConnectionError as e:  print('错误:',e.args)

虽然形式上就是这样写的,但是亲测并不好用,总是会出现连接错误,具体没弄明白为什么,有哪位大佬可以解释一下

3.urllib调用代理  

from urllib.error import URLError  from urllib.request import ProxyHandler,build_opener  proxy='123.58.10.36:8080' #使用本地代理  #proxy='username:password@123.58.10.36:8080' #购买代理  proxy_handler=ProxyHandler({  'http':'http://'+proxy,  'https':'https://'+proxy  })  opener=build_opener(proxy_handler)  try:  response=opener.open('http://httpbin.org/get') #测试ip的网址  print(response.read().decode('utf-8'))  except URLError as e:  print(e.reason)


用户登录

自动登录 忘记密码?

还没帐号?立即注册

用户注册

图形验证码

短信获取

我已阅读并同意 《用户协议》

已有账号?立即登录

忘记密码

图形验证码

短信获取

返回登录