Question

java如何获取含ajax的网页数据

问题是这样的，我需要获取一个网页的信息，但该网页上有个“显示更多”按钮用了ajax，要点击它才能得到完整数据。有人说用robot+jsoup，但我不知道是否可行，robot模拟用户点击后没有得到新的网址，此时即使用Jsoup来连接网站我觉得显示的应该还是原始的内容。请问大家有什么办法吗？

Answer 1

其实任何网页的数据都是由 请求-响应 组成的，谷歌或者火狐 开了F12 选择网络，点击那个更多按钮，你就可以获取到他访问的连接，后面不论普通的 httpclient 还是jsoup 都可以获取到response内容了，个人感觉这样的返回json的可能性很大，你先试试浏览器工具吧

Answer 2

晕死你了，你都知道ajax，都不知道怎么用么？ ajax就是异步交互，页面不刷新加载数据啊。你在ajax里面提交获取数据的Action或者url（实际上就是action）action里面返回json数据，最后在ajax的回调函数里面解析json数据，再用dom显示在html上

追问

你好，谢谢回答。我的问题是怎么用java获取加载后的页面上的数据。

追答

那你这问题就有问题，用java获取页面数据？ 随便怎样你得先提交页面数据，后台才获取啊，不可能说服务器端一直把每个打开网页的用户端的页面数据都获取到吧？

追问

举个例子，比如一个网页上是某学生选项过的课，但只显示10条，要点击“显示更多”，才能显示全部。我需要抓取这个学生所有选过的课，用jsoup可以获得原始显示的10条，我的问题是如何获得点击“显示更多”按钮后再加载的数据。其他网友给出的办法是用robot类模拟点击，但似乎不可行。你有办法解决这个问题吗？

追答

这就是用ajax，你点击更多按钮，就触发ajax提交一个获取这个学生选的所有的课的请求，至于数据获取过程我回答第一条就说了，获取到数据返回处理也说了，我说的这些就是处理你说的这个问题的

追问

我问题的关键不就是怎么用java模拟点击然后抓取吗...

追答

你点击更多那个按钮就提交一个表单啊， 这个表单最后组装成url 俗称网址，，这个网址就是后台action路径。。。我觉得我不能说得再明白了，我也不知道该怎么跟你解释了，麻烦你找个ajax案例瞅瞅了。 回答了这么多都不采纳，无爱了，我也不晓得采纳的那个 解释了神马。

Answer 3

/**
* 获取某个网页的内容
* @param url 网页的地址
* @param code 网页的编码，不传就代表UTF-8
* @return 网页的内容
* @throws IOException
*/
public static String fetch_url(String url, String code) throws IOException {
BufferedReader bis = null;
InputStream is = null;
InputStreamReader inputStreamReader = null;
try {
URLConnection connection = new URL(url).openConnection();
connection.setConnectTimeout(20000);
connection.setReadTimeout(20000);
connection.setUseCaches(false);
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11");
is = connection.getInputStream();
inputStreamReader = new InputStreamReader(is, code);
bis = new BufferedReader(inputStreamReader);
String line = null;
StringBuffer result = new StringBuffer();
while ((line = bis.readLine()) != null) {
result.append(line);
}
return result.toString();
} finally {
if (inputStreamReader != null) {
try {
inputStreamReader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (bis != null) {
try {
bis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (is != null) {
try {
is.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}