网络爬虫只能爬去web页面的数据信息吗?是不是别人数据库中的数据时没有办法抓取的?

 我来答
股海老A
2014-10-28 · TA获得超过2635个赞
知道小有建树答主
回答量:1507
采纳率:0%
帮助的人:882万
展开全部
网络爬虫抓取页面信息,提取其中的链接,顺着链接依次爬行,一般深度优先或者广度优先,这样一层一层的抓取,但是网页上的信息可能会涉及版权,如果对方不允许爬虫抓取,robot协议里禁止抓取,或者设置权限为登陆状态才可以,这些都会阻碍爬虫抓取数据。而web页面上的信息,其实是数据库里的数据在网站上的体现,没有体现出来的数据库数据,爬虫是无法抓取的。除非是给一个入口,这样爬虫从入口进去可以抓取数据。
百度网友82dd97ac7
2019-10-23
知道答主
回答量:70
采纳率:0%
帮助的人:5.8万
展开全部
网络爬虫抓取的是web页面的数据信息,其实这些信息原本也就是数据库里面的数据,但是如果有些数据库的数据在网页上面没有显示,或者网站的反爬机制严格,确实是没办法抓取的;包括现在用的比较多的软件机器人工具小帮,也是只能采集数据库中在界面显示的数据,针对反爬厉害的网站,可以试试。
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 1条折叠回答
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式