Question

java爬虫框架都有什么？哪个比较好学易用？谢谢！知道有nutch和heritrix可以，但是学习

java爬虫框架都有什么？哪个比较好学易用？谢谢！知道有nutch和heritrix可以，但是学习周期太长。最近有个项目需求，需要稍微定制一下爬虫，请问哪种上手比较快，就是那种两天学的会三天做的出的框架。听说有webmagic啊webclient啊gsoup等等。哪个好，哪个更适合做爬虫？谢谢！

Answer 1

登录的，建议你用jsoup带着cookie进去。

动态的，建议你用htmlunit。
webmagic和jsoup都很好学。有时间学学，虽然不是必会，但是这种小工具说不定什么时候就用得上。

Answer 2

用哪个技术得看他的特点跟你业务符合不符合.然后再考虑上手简单不简单吧.2,3天学会真不好说.业务复杂点出个BUG头就大了.
没具体研究过爬虫,只能帮你到这了.先去了解下这些技术适合干什么吧,既然有那么多种技术,肯定每个有各自的特点和擅长的地方.还有就是看看相关的资料够不够多.