java 如何高效判断数据是否重复

如题,从一个文件中读取几十万条数据,读取后判断这些数据在某一个字段上是否重复,如商户号商户名…………原来我是把读出来后的商户实体类实例和商户号以map的value和key... 如题,从一个文件中读取几十万条数据,读取后判断这些数据在某一个字段上是否重复,如
商户号 商户名 …………
原来我是把读出来后的商户实体类实例和商户号以map的value和key的形式保存起来,然后通过map.get方法判断同样key的数据是否存在,已达到判断是否重复的目的,问题是数据量太大,使用map效率太低,有没有什么判断数据是否重复的高效率的方法(约50W条数据),求解决方案
展开
 我来答
a19910403
2012-11-12 · 超过21用户采纳过TA的回答
知道答主
回答量:91
采纳率:0%
帮助的人:75.4万
展开全部
只判断是否重复还是需要判断哪些是重复的
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式