Question

网络爬虫，列表中的分页是用js实现的，怎么获取上一页，下一页的url？

比如这个网站：http://news.sohu.com/1/0903/61/subject212846158.shtml 分页是调用js然后跳转，如果不处理爬虫只能爬一页信息，如何实现全部爬取？使用java语言~~

Answer 1

这个比较简单,我看他的url有规律,所以比好弄

Answer 2

你解决了吗 能告诉一下怎么解决的吗

Answer 3

这个问题你解决了吗？能否交流一下，我也在做这个...

Answer 4

爬虫可以全部把网页信息下载下来，你是想得到js中的链接？

追问

自己写爬虫，如果分页直接是url那就能全爬下来，但如果是调用js代码，就无法直接爬到此页之外的其他页~想办法通过调用js等方法得到其他页的url，但是不会弄~~

追答

嗯？首先 提供一个home page ，你通过这个网址获取到该网页的所有内容，然后你在对该网页的内容进行处理，也就是说，你提取出来该网页中的所有链接，然后把这些链接放入一个未访问的链表中去，然后再对未访问链表进行逐个遍历，然后采用相同的方式，再获取内容，再解析、、、

Answer 5

有很多 是AJAX的，客户端没解析JS的功能，别想全解决这样的问题