如何防止scrapy爬虫被禁止

 我来答

2个回答

#热议# 生活中有哪些实用的心理学知识？

六锶尽念飘1e
2017-02-11 · TA获得超过1693个赞

知道大有可为答主

回答量：2034

采纳率：82%

帮助的人：1534万

我也去答题访问个人页

关注

展开全部

要防止scrapy被ban，主要有以下几个策略。

动态设置user agent
禁用cookies
设置延迟下载
使用IP地址池（Tor project、VPN和代理IP）
使用Crawlera

本回答被提问者采纳

已赞过 已踩过<

评论收起

育知同创教育
2018-08-02 · 百度知道合伙人官方认证企业

育知同创教育

1【专注：Python+人工智能|Java大数据|HTML5培训】 2【免费提供名师直播课堂、公开课及视频教程】 3【地址：北京市昌平区三旗百汇物美大卖场2层，微信公众号：yuzhitc】

向TA提问

关注

展开全部

要防止scrapy被ban，主要有以下几个策略。

1.动态设置user agent
2.禁用cookies
3.设置延迟下载
4.使用IP地址池（Tor project、VPN和代理IP）
5.使用Crawlera

本回答被网友采纳

已赞过已踩过<

你对这个回答的评价是？
评论收起

推荐律师服务：若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询

如何防止scrapy爬虫被禁止

其他类似问题

为你推荐：