Question

python爬虫时出现internal server error

我使用python爬取一个网站的大量帖子，大概有几百万吧但是很奇怪，每隔不定的数量就会中止并且挺频繁，中止原因是，Internal Server Error严重影响了我的进度。。。求教各位大神！PS：我是用腾讯云服务器主机和PC一起跑的，PC也遇到过很多次这样的问题，感觉可能和使用服务器电脑没关系。。。

Answer 1

这种500错误是对方服务器抗不住压力，所以超时或者运培差发生其它错误。和你中消的程序没有太大关系旁皮。

追问

请问有可能是因为对方反爬虫吗
有什么解决方法吗
谢谢

追答

解决办法一般是增加延时和重试。比如一旦出现500错误，就等待1分钟再重试。

500错误一般不是反爬虫。

Answer 2

人家机房有防火墙，裂友滑对于不正常的突发流量，会直接把你的ip暂时封掉。你抓几肆腊百万的帖子人家当你是DDoS攻击告蚂了。