Question

程序中，如何采集分页文章？

现在想写个采集程序，采集分页文章，可是程序中，如何知道这篇文章最多有几页？采集中，又如何知道下一页的链接是什么（不是全部列出的）？求程序的思路

Answer 1

做过这类软件的人都知道，这个其实很简单的。思路就是：先要采集到其中一个页面，然后提取包含分页部分的html代码进行分析就可以了。

追问

如果是全部列出所有的分页链接，那比较容易，如果是总有有10页，才列出5页呢？
1 2 3 4 5 下一页
这样的模式呢？

追答

容易就结了，不是还有“下一页”嘛。道理是一样的哦。

Answer 2

采集分页，难。
你需要在采集设置中设置分页的特征码，据此才能提取分页链接，且还涉及到分页的重复访问，重复采集，分页合并的顺序等等非常棘手的问题。

在熊猫采集里面，这些棘手的问题都由系统隐含解决，留给用户的只是一个“复选按钮”，用户操作起来非常简单。