如何利用 java 多线程 爬取大量网页
2个回答
2017-08-28 · 百度知道合伙人官方认证企业
育知同创教育
1【专注：Python+人工智能|Java大数据|HTML5培训】 2【免费提供名师直播课堂、公开课及视频教程】 3【地址：北京市昌平区三旗百汇物美大卖场2层，微信公众号：yuzhitc】
向TA提问
关注
![]()
展开全部
弄一个队列，把要爬取的网页地址放进去，然后弄一个线程池，线程池里面的线程爬取网页并把要要爬取的网页地址放进去，需要注意的是队列的深度和网页地址的去重，这方面你自己考虑下。可以参考下java.util.concurrent 里面的类。剩下的自己考虑下
本回答由提问者推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
