Question

用java写爬虫程序，有个网站获取不到链接，求指导

http://www.cnpcbidding.com/wps/portal/ebid/wcm_search/bidnotice_publish
http://ssggzy.ss.gov.cn/zbxx/index.jhtml?cid=1&type=0
爬取这两个网站列表的标题和链接，不用翻页，简单粗暴的结果
（若能解其一，感激不尽）
第二个已解决，请帮忙参考第一个，谢谢

Answer 1

//读取网页上的内容方法---------------------2010.01.25 public String getOneHtml(String htmlurl) throws IOException {
URL url;
String temp;
final StringBuffer sb = new StringBuffer();
try {
url = new URL(htmlurl);
// 读取网页全部内容
final BufferedReader in = new BufferedReader(new InputStreamReader(
url.openStream(),"GBK"));
while ((temp = in.readLine()) != null) {
sb.append(temp);
}
in.close();
} catch (final MalformedURLException me) {
System.out.println("你输入的URL格式有问题！请仔细输入");
me.getMessage();

} catch (final IOException e) {
e.printStackTrace();

}
return sb.toString();
}上面这个方法是根据你传入的url爬取整个网页的内容，然后你写个正则表达式去匹配这个字符串的内容。

追问

用其他方法解决了，你这方法我还没试，看起来牛逼哄哄的，采纳吧！多谢了

Answer 2

第一个是用js做的跳转
点击链接以后设置他下面一个表单属性的值
<input type="hidden" name="documentId" value="" />
然后提交了这个表单 搞到值了以后直接你设置 documentId=xxx 往表单action里面发数据就搞到链接了

Answer 3

可能是正则表达式写错了，你用工具测试一下。

Answer 4

把网站地址链接加入

追问

什么意思？