Question

python 爬虫是否需要设置代理怎么判断

如题：
有的网页是可以直接用urllib.urlopen()直接爬的，但是有些网站必须增加代理，headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) Chrome/29.0.1547.66')

怎么判断是否需要增加代理呢？

Answer 1

如果你下面那个可以使用个，你就都加上代理就是了，应该是有的网站限制了爬虫的头部数据。

虽然你可以通过urlopen返回的数据判断，但是不建议做，增加成本。

如果解决了您的问题请采纳！
如果未解决请继续追问

追问

urlopen增加成本？为什么这么说呢？

追答

因为需要远程访问，肯定会增加调用时间的。

Answer 2

在
python3
最值得注意和最广为人知的变化是print函数的使用。print
函数使用的括号()在python3中是强制性的。它在
python2
中是可选的。
print
"hello
world"
#is
acceptable
in
python
2
print
("hello
world")
#
in
python
3,
print
must
be
followed
by
()
print()函数默认情况下在结束时会插入一个换行。在
python2，它可以通过
'，'
在末行抑制输出换行。