Question

SSH大量数据插入问题

我现在有43.26亿条数据，需要快速插入数据库。之前想过用多线程，但是效率不高。现在插10W条数据需要149秒。如果全部插入，需要大量时间。求DaoImpl实现代码，有人说用存储过程就可以了，但是ssh我不会用存储过程。还有就是.hbm.xml里面的储存过程配置。谢了

Answer 1

这么大的数据量直接写成sql脚本或者dmp文件，在数据库端，直接导入吧

追问

不规整的数据啊！！现在只能导入到java里 进行规整，能存到集合里。但是没办法插入数据库啊！！

追答

java处理成规整的sql生成文件，拿到服务器，用脚本执行

追问

你的意思是告诉我，生成2.9T的sql文件，导入数据库么？

Answer 2

批量数据处理还是建议采用最基础的操作数据库方法jdbc，效率才是最高的

追问

求JDBC使用方法，效率。速度。和时间。

Answer 3

43.26亿数据你怎么存放的。牛逼啊。还有hibernate没有办法处理这么大的数据的

追问

数据可以用循环的方式插入数据库！现在只求最快的插入速度！！

追答

我知道，但是JDBC同时操作的话肯定会挂掉的。只能通过多线程了。记得及时关掉connection

追问

你的回答是正解，但是我现在jDBC 7000W条数据是 21578S 也就是 3个半小时左右。需要插入24小时左右。但是我在测试时，硬盘容不下这么大的东西。所以现在正在考虑存储空间，以及索引最高效率查询问题。

Answer 4

使用load data

追问

能详细点么