Question

java写网络爬虫，如何爬取在同一个网页中，但是已经被隐藏的div（需要点击显示更多）

网络爬虫 遇到js特效的点击显示更多的网站，就是点击后在同一个网页源码中会将隐藏内容显示出来

Answer 1

这种是用js实现的。所以后面的内容实际上是动态生成的，网络爬虫抓取的是静态页面。
至于解决办法，网上有几种：

一种是使用自动化测试工具去做，比如selenium，可以模拟点击等操作，但是这个其实和爬虫还是有很大区别的。
二是利用特定的类库在后端调用js，python的倒是有，但是java的我就不清楚了。
三是自己找到相关的页面的js代码，分析出来相关的请求url，直接调新的url就行了，但是一般的js都是加密压缩的，但是你可以试试。

追问

第一个就先忽略，因为主要是做爬虫;
第二个是不是在java寻找调用js的类去模拟点击这样?，我尝试下;
第三个但是我点击的加载更多，是同一网页，那样调用这个url，还是一开始这样？应该不行吧

Answer 2

如果源码里面是直接有这个数据的，通过采集相应的xpath路径的元素就可以实现。
如果源码里也是需要点击才能显示这个数据，可以通过编写代码实现模拟点击这个显示更多的按钮，让数据显示出来然后进行采集