Question

Jsoup翻页爬取时碰到JS翻页怎么办

图片内第一页与第二页地址一模一样,怎么翻页爬取啊~





Answer 1

判断下一页的标示比如class一页页抓咯，比如下一页的class是next那么抓取可以简单的这样写：

// 抓取函数
grab(url) {
    var content = getPageContent(url);
    var $ = convertContentToJqueryObj(content);//将content装换为jQuery对象比如使用cheerio之类的
    var $next = $('.next');
    //处理需要抓取的数据
    parseContent(content);
    // 判断是否有下一页 有则递归抓取
    if ($next.length) {
        grab($next.attr('url'));
    }
}

追问

Jsoup啊 大哥 不是前台啊。