Question

java 如何高效判断数据是否重复

如题，从一个文件中读取几十万条数据，读取后判断这些数据在某一个字段上是否重复，如
商户号 商户名 …………
原来我是把读出来后的商户实体类实例和商户号以map的value和key的形式保存起来，然后通过map.get方法判断同样key的数据是否存在，已达到判断是否重复的目的，问题是数据量太大，使用map效率太低，有没有什么判断数据是否重复的高效率的方法(约50W条数据)，求解决方案

Answer 1

一、这么大的数据量如果一次性放到一个Map中是否内存会使用过多，这是要考虑的，是否可以考虑批量处理呢？读取也可以用批量。
二、假如一次性放到一个MAP中，是否可以保存到数据库中，保存的时候肯定是用批量处理。

Answer 2

在普通方法里，map算是快的了。

你可以把这些数据扔到一个小数据库中，用sql找就很快了，数据库对这种要求支持很好的。

你不想用数据库，那你就用B-树吧

Answer 3

我觉得用程序处理，再怎么快也不会有高效率，最好在使用这些数据时，先将数据导入数据库，用查询语句来处理，如distinct

Answer 4

可以用Set 去除重复

Answer 5

为什么不从数据库语句下手呢……