Question

Java数据导出四个难点

Answer 1

问：Java数据导出四个难点

答：您好亲， 导出程序实现有以下技术难点1. 一次读取这么大的数据量，肯定会导致服务器内存溢出；2. 调用接口保存一次传输数据量太大，网络传输压力会很大；3. 最终通过SQL一次批量插入，对数据库压力也比较大，如果业务同时操作这个表数据，很容易造成死锁。解决思路根据列举的技术难点我的解决思路是：1. 既然一次读取整个导入文件，那就先将文件流上传到服务器磁盘，然后分批从磁盘读取（支持多线程读取），这样就防止内存溢出；2. 调用插入数据库接口也是根据分批读取的内容进行调用；3. 分批插入数据到数据库。（根据学过大数据的相关知识---可以将解决的思路：上传导入文件Excel到Hadoop进行存储，利用spark进行读取并写入数据库）希望我的回答对您有帮助，谢谢，祝您生活愉快！