Question

httpclient ajax java爬虫

有会的吗
试了网上各种方式没post成功
最好给个源码能运行的
就是写java爬虫 模拟ajax post方式提交

Answer 1

ajax的爬取.  主要需要分析ajax请求的标头等, 注意设置useragent ,伪装成正常的浏览器和操作系统.

我一般使用Win10自带的 Edge浏览器, 来分析需要爬取的ajax请求.

点击F12----->网络

左边会显示地址和请求方式, 右侧会显示标头,正文,参数,cookie ,计时

• 重点是要分析标头 和请求的参数和cookie

很多请求,需要验证用户的权限和身份,所以cookie特别重要. 

HttpClient 模拟登陆时,会比较复杂, 有些大站会有各种加密算法.获取cookie比较有难度的.

此外还有注意 编码等小问题. 很多小问题不解决,也影响爬取的成败