本来网页几万的数据,但是爬虫爬到5千行就自己停止了,为什么

本来网页几万的数据,但是爬虫爬到5千行就自己停止了,为什么... 本来网页几万的数据,但是爬虫爬到5千行就自己停止了,为什么 展开
 我来答
数阔八爪鱼采集器丨RPA机器人
2021-07-19 · 前往八爪鱼RPA应用市场,免费获取机器人
数阔八爪鱼采集器丨RPA机器人
向TA提问
展开全部
只要网页上有显示,肯定存在数据传输,先使用浏览器的开发者工具查看各请求信息,查找目标数据位置,尽可能多的关注多个特征数据,定位数据位置,查看数据组成的规律。只要能够在浏览器里找到信息,接下来就好办多了。使用软件可模拟浏览器发送请求过程,可添加特殊的请求头信息,以达到获取数据的目的。
藤原子大雄
2017-12-23 · TA获得超过7197个赞
知道大有可为答主
回答量:6977
采纳率:82%
帮助的人:1754万
展开全部
搜索引擎,通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词(即关键词)进行索引,建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候,所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后,这些结果将按照与搜索关键词的相关度高低,依次排列
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
T仝在路上
2018-08-06
知道答主
回答量:33
采纳率:0%
帮助的人:2.8万
展开全部
莫不是IP被屏了吧?访问受限,403错误
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 1条折叠回答
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式