Question

关于nutch的爬取结果，问个菜鸟问题。。

刚刚在本地配置好了Nutch1.4，爬取了一些数据，但这些数据都是以一些数据块（不知具体该怎么叫）存在crawl文件夹里的。那我该怎么去读取这些数据，假定这些数据都是一个个网页，那我需要读取各个网页的源码，该怎么办?

Answer 1

bin/nutch readseg –dump crawl/segments/20070516154114 segdb
这样会产生一个 dump 文件,这是一次抓取循环的结果,如果要查看其他
文件夹下抓取的结果,只要更改最后那个以时间命名的文件夹就可以了。