Question

如何用python实现爬虫抓取网页时自动翻页

我把网页的第一篇内容抓取好了，但是用python怎么抓取后面的 又如何停止。 我在我抓取的网页代码中找到了 javascript:voidresult_page_down('/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1') /下一页。但是不知道如何使用它 求解答

Answer 1

看了你这个网站，下一页每次都不一样，每一页的链接也不一样，这种你靠分析肯定是不行的，因为你永远都不知道会出来什么内容，建议你用八爪鱼采集器，这是目前最好用的网页数据采集利器，解决这种问题很轻松的。

Answer 2

用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。

Answer 3

url=“http://search.jiayuan.com/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1”

data={'p':页码}
用post方法提交

追问

用post提交self._send_request(method, url, body, headers) 里面那个body就是页码？

Answer 4

不太明白你在说什么....我都是直接从文本里面截取url,不知道你咋扯到javascript了.

追问

我就是想要取得下一页的内容  但是那个网站的每一页的连接都一样

唯一发现的就是这样一个javascript。

初学者很多不懂 请见谅

追答

我仍然不知道你在说啥..你把链接发我看看

追问

http://search.jiayuan.com/ 这是我要抓取的网站

追答

这个我也不知道了= =