Python中使用selenium怎么多线程爬取多个网页？ 5
我要爬取二十多个网页，但是我如果每个页面都创建一个浏览器对象，那样打开的浏览器太多了会很卡，有没有啥解决办法...
我要爬取二十多个网页，但是我如果每个页面都创建一个浏览器对象，那样打开的浏览器太多了会很卡，有没有啥解决办法
展开
展开全部
一般来说，在调试通过以后就不需要显示打开浏览器进行抓取，可以后台抓取，也就是说不需要打开这么多浏览器。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
测试的时候使用正常的浏览器和对应的 driver，实际跑的时候切换成“无头”浏览器就行。
如果时间足够，就不要多开去跑爬虫了。
如果时间足够，就不要多开去跑爬虫了。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
使用scrapy框架替代selenium，这个框架是用来测试的，抓取数据并不合适
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
更多回答（1）
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
