火车采集器分页怎么过滤网址重复
2个回答
展开全部
重复数据定义:两条数据的所有字段的内容都是一样的,那么软件就会判断这两条数据是重复的。云采集的数据在导入云服务器的数据库中时会自动去重,所以用户查看到的和导出的云采集数据都是不重复的。本地采集的数据可在导出时,会有弹窗提示是否去重,用户根据需要选择即可。另外八爪鱼也有自带的根据字段去重的功能,可以自己设置根据提取的某个字段去判定数据重复而选择去重。八爪鱼为用户准备了一系列简洁易懂的教程,帮助大家快速掌握采集技巧,轻松应对各类网站数据采集,请前往官网教程与帮助了解更多详细信息。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询