Question

txt文本如何去重复数据，请教高手相助，我奉献100财富。最好能给点代码提示。

我做的是一个程序，将txt文件导入到这个程序中。txt文件有数据将近50万，里面有重复的数据，点击去重复按钮，导出一个新的txt文件，这新的txt文件里面没有重复的数据。
需要用c#语言实现，不过用什么语言不重要，只要能实现。

Answer 1

50万不是一个小数目呀，本人建议你先用程序读取数据然后把数据存入数据库，把数据库的列属性设成唯一或主键，程序循环往数据库插入数据，遇到错误程序自动忽略，一轮下来估计就筛选完了，
50万数据应该费不少时间，把程序执行过期时间设长一点
这个方法是最笨的方法，但却是最实用的。
以前我遇到和你一样的问题，不过数据是你的三倍，我用程序处理了四个多小时，汗

Answer 2

这个，，，，我曾经写过这样一个程序，不过我觉得我但是很傻，全是用c自己实现的，我觉得你可以看一下shell，然后自己写一个脚本就行了，或者是perl，那个处理文本非常的方便。

Answer 3

导入程序中是就开始判断，如果数据库中存在，就跳过，继续添加下一条，如过不存在就添加。

Answer 4

你可以看一下别人做的，如飞梭TXT文本数据处理百宝箱，看一下别人的程序总会对自己有所帮助的。

Answer 5

50万数据时正常程序很难快速打开的。因为没有指定编程语言，没办法写命令。把我的思路给你说一下吧。
建议先排序后处理重复。具体步骤如下：
1.分散数据。把数据按照一定规律分裂到新创建的txt文本中。例如假设数据全是数字，不妨让文件名为“00”的存储所有“00”开头的数据，文件名“01”的存储所有01开头的数据一次类推。这个编程的时候打开文件方式用追加。 vb delphi c 等有追加的打开文件方式（Append）。 总之分门别类一下方便下一步工作.
2.分别排序去掉重复。分别打开每个文件数据，每个文件内的数据全部读取之后再各自排序。排序之后重新扫描每个数据，相邻的要是一样就去掉。“00”文件处理后的数据全部追加到另一个文件上（假设文件名是“finall”）。然后打开“01”,同样的处理，完成后追加到刚才那个文件上（“finall”）。
3.尾声。删除所有临时文件（“00”,“01”.....）。

后续： 这样做会让数据的顺序改变。如不想改变数据也有办法：
在生成“00”“01”…… 等数据时候 在每组生成的数据后面加一个数据 就是这个数据的在原文件中的序号。 在第2步去掉重复的时候不要判断新加的序号是否相同，只判断前面的数据。处理后的文件也不要全部追加到“finall”文件上，而是跟步骤1类似的追加到一组新的文件上，假设文件名是“n00”,“n01”……。不过分类标准时参照新加的序号列分散。 然后同样的办法，将文件“n00”,“n01”……逐个打开，根据序号排序，一个一个追加到“finall”上。（注意别忘了去掉新加的序号列）然后删除所有临时文件。

补充： 要是能看到几条具体数据就最好了。 要是涉及到隐私可以改一下。