Question

请教Java处理大批量的数据

Answer 1

首先看是什么文件？txt？还是xml？
如果是txt的话我们直接通过IO将其中的内容看做一个字符串，接着去找个正则表达式匹配（如果楼主正则表达式不错的话）一下那么很快就可以得出你想要的结果了。
如果xml的话则遍历用户节点然后找到相应的 userId的节点下的商品id的节点。
其实还有个方法就是通过spilte方法将它分成数组。。。然后遍历数组来得到想要的结果。。。正则表达式如果写出来应该是最快的，比较符合楼主的要求。。。

Answer 2

读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数据库写入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些