Question

你好，在网上看了你回答的问题：java编写 网络爬虫，请问你是怎样实现这个的呢？我现在急着要用这个。

网上找了半天，说是用jsoup，但是我发现有的网页不能爬取，不知道有没有更好的实现方式，请不吝赐教。

Answer 1

你给个邮箱发给你吧。。如果直接给你说估计也说不清。主要用HttpClient和HttpParser两个Jar的开源包。如果自己全部从底层写。估计问题很多。

追问

luoxiaobo2011@163.com,谢谢啦！

追答

好了哈。。发给你了哈。。不晓得符合你要求不

Answer 2

String result = "";
HttpGet httpGet = new HttpGet(url);

HttpResponse response=new DefaultHttpClient().execute(httpGet);
if(response.getStatusLine().getStatusCode()==200){
HttpEntity entity=response.getEntity();
result=EntityUtils.toString(entity, "GBK");
}
result 就是一个网页的内容，html代码
需要jar包：httpcomponents-client-4.1.2

追问

还想请问下，如果被 反爬取 ，有什么解决办法吗？

追答

反爬取就是屏蔽了爬虫么？？？我觉得没有网站会这么做的，除非他们不想赚钱。每个网站都会非常欢迎爬虫的

Answer 3

用socket 发送http请求，收到网页信息后可以用正则来配比分析内容。

追问

嗯，大概了解这个意思，如果有实例代码就好了，不知道能不能给我些源代码呢。

Answer 4

呃。。我不知道，你玩小花仙吧！？期待你的加入，如果加入了，请你告诉我你的米米号！