Question

java 定义超大数组，提示内存不够怎么办？

定义了一个 double类型的二维数组，50,000*20,000的规模，初始化的时候出现内存不够的错误：java.lang.OutOfMemoryError: Java heap space，现在-XMX6500M了，-XMX已经不能再往上调，怎么办呢？

Answer 1

你可以改用文件系统，将数据保存到文件中，每次读取一部分进行处理。

Answer 2

你逻辑就不对，定义这么大一个数组就是不应该的，优化你的逻辑和算法吧

追问

我想做一个搜索算法，要统计2万篇文章里的每个单词（总数大概就是5万个不同的单词）对应在每篇文章里出现的次数。然后再进行SVD分解。所以一定要这么大的一个数组。

追答

晕，你这真不是解决问题的态度。
首先说你计算方式就不对，5万单词，2万文章，难道就得把这些文章按单词一个一个的排列放在内存里面么？
你读取一遍就统计出来了。5万个单词内存还是放的下的，用个Map就统计完了。
就算你非要弄那么大个数据，难道不能放在硬盘里面么。

追问

不好意思啊，真的没有不尊重您的意思。。非常感谢您的耐心解答，，谢谢谢谢。。
我现在统计次数已经做好了，现在就是要进行一个SVD分解，要一个把所有的词和文章对应起来的矩阵，然后按特征值从高到低排序后，截取最高的100个特征值，将他们的维度降到100,。这样可以把同义词找出来。。
简单的说就是需要一个词和文章对应的矩阵。。。

追答

你这个算法的思路是正确的，但是整体方案不是一个可实施方案。
现在的问题不是出在你算法本身，而是出在你怎样问这个算法提供数据的方式上。
一个double占用空间长度是固定的，你写到文件里面，跟数组一样操作就可以了。
double每个占用8字节，所以第一个就是起始位置0，第二个就是起始位置就是8，
用RandomAccessFile读这个文件，可以直接设定从哪个位置开始读。

追问

嗯我试试把他放到文件系统里去，单是那样可能SVD那里会很慢了。先谢谢了，有问题再来请教你。

追答

那是肯定的，你想想搜索引擎每小时的采集量都比你这个多多了，人家不能都放内存里。
对于大数据处理都是分层存储的，常用数据、不常用数据、备用数据都是分开存放在不同介质的。
越常用的数据放在越快的存储介质中。

你也可以分块往内存里面拷贝。
每次处理一个大块数据，就放在内存里，不要了就删除取下一个大块。
每个大块的大小控制在一个对于算法、内存利用率、命中率、IO都比较合理的一个值上，就比较快了。

追问

处理完了，我先随机用1000篇语料估算了一个分解值，再把后面的语料一篇一篇往里面加的，这样就不需要构造这么大数组了，计算结果和预期的结果基本上也是吻合的。
谢谢您的帮助））

追答

如有帮助，希望采纳。