Question

八爪鱼爬虫滚轮翻页的网页怎么爬

有些网页没有下一页按钮，只能滚轮翻页，比如百度图片可以一直用滚轮往下翻，想问问这种网页怎么设置自动翻页！

Answer 1

这类需要滚动下翻的网页需要对打开网页步骤进行设置在进行数据提取：

1. 打开采集规则编辑界面：点击打开网页或者点击元素步骤，

2. 在右侧的高级选项中勾选页面加载完向下滚动，

3. 根据页面设置向下滚动的次数，及每次滚动的间隔，

4. 滚动方式选择“直接滚动到底部”,

5. 设置完成后，就可以对数据进行提取。

注意：这里不需要像详情页提取一样将提取数据的步骤放到翻页循环中，打开网页或者点击元素的步骤需要放在提取数据步骤的前面，因为页面打开后需要执行滚动的步骤之后才开始采集，否则会导致只采集到加载后未下拉的数据，造成采集的数据缺失。

追问

我根据你说的设置好后翻页倒是解决了，但是提取不出数据是怎么回事啊

追答

下拉的时候没有设置Ajax加载，所以猜不到数据。在打开网页步骤的高级选项里面进行设置。