java 如何高效判断数据是否重复
如题,从一个文件中读取几十万条数据,读取后判断这些数据在某一个字段上是否重复,如商户号商户名…………原来我是把读出来后的商户实体类实例和商户号以map的value和key...
如题,从一个文件中读取几十万条数据,读取后判断这些数据在某一个字段上是否重复,如
商户号 商户名 …………
原来我是把读出来后的商户实体类实例和商户号以map的value和key的形式保存起来,然后通过map.get方法判断同样key的数据是否存在,已达到判断是否重复的目的,问题是数据量太大,使用map效率太低,有没有什么判断数据是否重复的高效率的方法(约50W条数据),求解决方案 展开
商户号 商户名 …………
原来我是把读出来后的商户实体类实例和商户号以map的value和key的形式保存起来,然后通过map.get方法判断同样key的数据是否存在,已达到判断是否重复的目的,问题是数据量太大,使用map效率太低,有没有什么判断数据是否重复的高效率的方法(约50W条数据),求解决方案 展开
6个回答
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询