Question

单机多线程模拟map reduce可行么

Answer 1

1、把数据文件分解成合适大小的多块数据,每块数据可以一次性的完成统计，写入磁盘。用hash值分比按字母分更均匀一些。
2、分别统计每块数据，写回结果
这种算法你叫它map/reduce也可以，不过这就是个外排序算法，没map/reduce概念之前就存在好久了。
算法的瓶颈在IO，利用多线程考虑的是如何优化IO。单纯的多线程并行读写同一个磁盘上的文件只会降低性能。如果多块数据可以保存在不同的磁盘上，可以利用多线程并行处理不同磁盘上的数据块。