Question

我要搜集数据，怎么可以避免收集到多条重复的数据？

Answer 1

你是用爬虫采集数据对吧，可以使用软件ForeSpider采集，数据保存在数据库中，每一条数据都有唯一主键，如果数据重复，主键就会冲突，无法入库，实现自动排重，

Answer 2

先收集，再用高级筛选选出不重复的数据就行了。