Question

python爬虫 如何自己用云服务器上搭建代理服务器 并使用requests测试代理？

爬虫爬的过快被封IP，想用几个阿里或腾讯或百度的学生机，整几个稳定的代理IP，用免费代理的话可能大部分时间被用来测试这些代理是否有效，可以的话，还是自己整几个稳定IP比较舒服

Answer 1

1、简介
使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站

可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址

2、应用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'http':porxy_addr})
opener = request.build_opener(porxy, request.ProxyHandler)
request.install_opener(opener)
data = request.urlopen(url).read().decode('utf-8')
return data
data = use_porxy("114.115.182.59:128","http://www.baidu.com")
print(len(data))