请问大家，火车头采集器怎么采集重复页面，因为我在采集时，多采一次就会出现重复了？
展开全部
您好,在同一站点分类下的规则使用同一个网址库 您的意思是要每次运行这条采集规则都会重新采集不检测重复网址对吗?
编辑规则 > 第一步: 采集网址规则
在网站编码右边有一个 检测重复网址 复选框 取消勾选就不会检测重复网址了
编辑规则 > 第一步: 采集网址规则
在网站编码右边有一个 检测重复网址 复选框 取消勾选就不会检测重复网址了
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
左键点选该任务`右键……清空该任务地址库……清空该任务所有本地采集数据
追问
我有这样试过，但是再建个任务时，还是会出现重复了
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
1、如果是在网址采集中重复出现页面，解决方法是在：
编辑规则 > 第一步: 采集网址规则
2、如果是在任务执行中出现了重复页面，解决方法是在：
点击该任务
右键会出现列表，点击 清空该任务地址库；
再次点击该任务
右键会出现列表，点击 清空任务所有采集数据
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
