java读取大文件时内存溢出问题
我有一个csv文件,大约有80多万条记录,用下面的代码读取时,一般读到70多万条记录时就出现内存溢出问题。求各位好人给出解决方法,感激不尽!!!publicDataCSV...
我有一个csv文件,大约有80多万条记录,用下面的代码读取时,一般读到70多万条记录时就出现内存溢出问题。求各位好人给出解决方法,感激不尽!!!
public DataCSV(String fileName) throws Exception {
File file = new File(fileName);
fis = new BufferedInputStream(new FileInputStream(file));
br = new BufferedReader(new InputStreamReader(fis),3*1024*1024);// 用3M的缓冲读取文件
String stemp;
//跳过第一行
br.readLine();
//循环读取数据
long i=0;
while ((stemp = br.readLine()) != null) {
list.add(stemp);
i++;
System.out.println(i);
}
}
错误如下:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at com.zyx.lab2.DataCSV.<init>(DataCSV.java:29)
at com.zyx.lab2.DataCSV.main(DataCSV.java:136)
29行是while循环那一行 展开
public DataCSV(String fileName) throws Exception {
File file = new File(fileName);
fis = new BufferedInputStream(new FileInputStream(file));
br = new BufferedReader(new InputStreamReader(fis),3*1024*1024);// 用3M的缓冲读取文件
String stemp;
//跳过第一行
br.readLine();
//循环读取数据
long i=0;
while ((stemp = br.readLine()) != null) {
list.add(stemp);
i++;
System.out.println(i);
}
}
错误如下:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOfRange(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at java.io.BufferedReader.readLine(Unknown Source)
at com.zyx.lab2.DataCSV.<init>(DataCSV.java:29)
at com.zyx.lab2.DataCSV.main(DataCSV.java:136)
29行是while循环那一行 展开
2个回答
展开全部
内存溢出?
把错误log贴出来呗!
你当前jvm设置了参数吗
设置-Xmx4000m
如果小了可以稍微加大 看你内存是否能设那么大
把错误log贴出来呗!
你当前jvm设置了参数吗
设置-Xmx4000m
如果小了可以稍微加大 看你内存是否能设那么大
追问
由于追问字数限制,错误贴在了问题下面!
29行是while循环那一行,我用的是eclipse运行的程序。问题应该出在list上,似乎加入的记录太多,发生内存溢出。我内存没那么大,稍微调大还是没用(不知道是不是设置方式有问题),请问怎么解决呢?
追答
一次性读这么多数据到内存中处理,不合适,你可以先读1万条或者10万条进去处理,处理完后把list清空再接着读然后处理!
那么多数据全都塞到list里去了 内存肯定会不够的
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询