Question

windows下构建的nutch1.2 网页爬取问题

我是在windows下构建的nutch1.2 现在我想要对中学校园网进行爬取 在url中加入了五个中学校园网网址 但结果只能搜到第一个网址的主页
我在网上也找不到相应的解决办法 困惑已久 烦请指点哈

Answer 1

提供点解决思路：
1、从后台的抓取部分着手解决问题。多数是由于URL地址写法和nutch的网址过滤规则不符引起的。
2、将五个拆成一个一个的去写到种子文件中去采，看看哪个采不到，再针对性的去找原因。
3、多查日志才是王道。