Question

采用spring batch 处理大数据量，瓶颈在数据库吞吐量时，该如何优化？

使用spring batch处理大数据量，数据库采用db2。
处理过程为：从一张千万级别数据量的表中读取百万数据，逐条数据处理后，批量插入另一张千万级别数据量的标准。
批处理量：目前设为10万。
现象：整个过程中，花费近半个小时，读取过程和写入过程的时间占了90%以上，处理过程只用了两三分钟。
临时处理：目前整个过程，采用db2的存储过程实现，只需要5分钟左右。

问题：采用spring batch 处理大数据量，瓶颈在数据库吞吐量时，该如何优化？

Answer 1

读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数据库写入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些

Answer 2

springbatch中文社区 上面关于springbatch技术、教程都有的 应该能帮到你