Question

java读取大文件时内存溢出问题

我有一个csv文件，大约有80多万条记录，用下面的代码读取时，一般读到70多万条记录时就出现内存溢出问题。求各位好人给出解决方法，感激不尽！！！
public DataCSV(String fileName) throws Exception {
File file = new File(fileName);
fis = new BufferedInputStream(new FileInputStream(file));
br = new BufferedReader(new InputStreamReader(fis),3*1024*1024);// 用3M的缓冲读取文件
String stemp;
//跳过第一行
br.readLine();
//循环读取数据
long i=0;
while ((stemp = br.readLine()) != null) {
list.add(stemp);
i++;
System.out.println(i);
}
}
错误如下：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at com.zyx.lab2.DataCSV.<init>(DataCSV.java:29)
at com.zyx.lab2.DataCSV.main(DataCSV.java:136)
29行是while循环那一行

Answer 1

内存溢出？
把错误log贴出来呗！

你当前jvm设置了参数吗

设置-Xmx4000m
如果小了可以稍微加大 看你内存是否能设那么大

追问

由于追问字数限制，错误贴在了问题下面！
29行是while循环那一行，我用的是eclipse运行的程序。问题应该出在list上，似乎加入的记录太多，发生内存溢出。我内存没那么大，稍微调大还是没用（不知道是不是设置方式有问题），请问怎么解决呢？

追答

一次性读这么多数据到内存中处理，不合适，你可以先读1万条或者10万条进去处理，处理完后把list清空再接着读然后处理！

那么多数据全都塞到list里去了 内存肯定会不够的

Answer 2

非得一次性读进来吗

追问

最高是一次读进来，但也可以逐步读取，请问后者如何操作呢

追答

可以都一定次数把list清空吧，比如读50次清一下再读

可以读一定次数把list清空，比如读50次清一下再读

追问

上述内存错误是因为list的原因吗？

追答

你读的数据不都是放在list里面了吗，而且你只是往里面放，不去定时清空，等它里面的数据过大就容易造成内存溢出了