Question

java 处理大量文档hashmap问题

本人要处理大批量文档，把每篇文档切分成词，存放到HashMap<String, HashMap<String,Integer>>()中，其中各部分表示 HashMap<文档名, HashMap<该文档中的每个词, 出现的次数>>().此为背景，当文档数为100个的时候，处理的很顺利，当文档数增加到1万以上的时候，只处理到三千个左右就不行了，JVM崩溃，提示如图所示，我猜想应该是hashmap存不了这么大的数据量，各位有谁懂提示什么意思？如果是hashmap存不了，那应该怎么弄，用数据库吗？求助

Answer 1

不是hashmap存不了这么多，是你内存不够，而且你这还是32位的系统，内存才那么点。
你想做这种分词完全走内存是不现实的，单独内存实现总有内存到达上限的时候，应该内存与磁盘（或数据库）结合使用，解析一定数量的文档，将分好的词存到磁盘上，释放内存，再读取。。。最后通过磁盘统一读取。
你可以参考下lucene的实现。

Answer 2

我觉得应该不至于处理不了，处理完一个文件后及时释放资源应该不会有什么问题，从你给的错误信息如果没有更详细的内容基本看不出来是什么问题。