网络爬虫,列表中的分页是用js实现的,怎么获取上一页,下一页的url? 20

比如这个网站:http://news.sohu.com/1/0903/61/subject212846158.shtml分页是调用js然后跳转,如果不处理爬虫只能爬一页信... 比如这个网站:http://news.sohu.com/1/0903/61/subject212846158.shtml 分页是调用js然后跳转,如果不处理爬虫只能爬一页信息,如何实现全部爬取?使用java语言~~ 展开
 我来答
Oo曉系类
2019-06-22
知道答主
回答量:3
采纳率:0%
帮助的人:2215
展开全部

这个比较简单,我看他的url有规律,所以比好弄

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
pcy950
2018-07-18
知道答主
回答量:1
采纳率:0%
帮助的人:848
展开全部
你解决了吗 能告诉一下怎么解决的吗
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
wuxixita
2014-08-20
知道答主
回答量:1
采纳率:0%
帮助的人:1342
展开全部
这个问题你解决了吗?能否交流一下,我也在做这个...
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
幸福丶小丑
2013-03-09 · 超过42用户采纳过TA的回答
知道小有建树答主
回答量:194
采纳率:100%
帮助的人:105万
展开全部
爬虫可以全部把网页信息下载下来,你是想得到js中的链接?
追问
自己写爬虫,如果分页直接是url那就能全爬下来,但如果是调用js代码,就无法直接爬到此页之外的其他页~想办法通过调用js等方法得到其他页的url,但是不会弄~~
追答
嗯?首先  提供一个home page ,你通过这个网址获取到该网页的所有内容,然后你在对该网页的内容进行处理,也就是说,你提取出来该网页中的所有链接,然后把这些链接放入一个未访问的链表中去,然后再对未访问链表进行逐个遍历,然后采用相同的方式,再获取内容,再解析、、、
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
匿名用户
2013-03-08
展开全部
有很多 是AJAX的,客户端没解析JS的功能,别想全解决这样的问题
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 4条折叠回答
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式