Question

如何抓取HTML页面及HttpClient使用

Answer 1

　　搞过web开发的朋友对这个应该很熟悉了，不需要再多说，这是个很基本的工具包，一个代码级Http客户端工具，可以使用其模拟浏览器向http服务器发送请求。HttpClient是HttpComponents(简称hc)项目其中的一部分，可以直接下载组件。使用HttpClient还需要HttpCore，后者包括Http请求与Http响应代码封装。它使客户端发送http请求变得容易，同时也会更加深入理解http协议。

　　首先要注意的有以下几点：

　　1.httpclient链接后释放问题很重要，就跟用database connection要释放资源一样。

　　2.https网站使用ssl加密传输，证书导入要注意。

　　3.对于http协议要有基本的了解，比如http的200,301,302,400,404,500等返回代码时什么意思(这个是最基本的)，还有cookie和session机制(这个在之后的Python爬虫系列三“模拟登录”的方法需要抓取数据包分析，主要就是看cookie这些东西，要学会分析数据包)

　　4.httpclient的redirect(重定向)状态默认是自动的，这在很大程度上给开发者很大的方便(如一些授权获得的cookie)，但有时需要手动设置，比如有时会遇到CircularRedictException异常，出现这样的情况是因为返回的头文件中location值指向之前重复地址(端口号可以不同)，导致可能会出现死循环递归重定向，此时可以手动关闭:method.setFollowRedirects(false)。

　　5.模拟浏览器登录，这个对于爬虫来说相当重要，有的网站会先判别用户的请求是否来自浏览器，如果不是直接拒绝访问，这个直接伪装成浏览器访问就好了，好用httpclient抓取信息时在头部加入一些信息：header.put(“User-Agent”, “Mozilla/5.0 (Windows NT 6.1)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36)”);

　　6.当post请求提交数据时要改变默认编码，不然提交上去的数据会出现乱码。重写postMethod的setContentCharSet()方法就可以了。