Question

java做了个excel导入功能,如何提高导入效率?

比如一张表,作为模板,表格的序号作为主键,不可以重复,加入此表格已经导入过一次,再进行第二次导入的时候,根据需要进行对比,如果数据库已经存在此序号,将更新此序号所在行的内容,不存在则插入数据库.在进行第二次导入的时候会频繁的到数据库去查找更新插入等,所有效率非常低,导入非常慢,有什么方法可以提高效率?

Answer 1

在导入前先去数据库一次性的取出所有的数据放入集合A（这个的所有根据情况来，不一定是必须要全部数据），然后将excel内的所有的序号和A中的主键去比较，A中有的就表示已经存在不插入，而A中没有的则表示数据库中不存在则需要导入

Answer 2

像一楼说的方法就不错啊，第二次导入时 truncate 表，id就重新开始计算。
另外就是你说的遍历问题，用Map就不需要遍历了，通过key取啊，然后做个批量提交。

Answer 3

可能加载10到20个常用模板到内存。
第一步，第一次时（就是集合中还没有这个模版对象时）先把对应的模版读取到集合中，每次这样的第一次访问都把相应的模板放到集合中，如果集合长度超出范围就把前边的删掉。
第二步，第二次以后访问就直接从这集合中读取，没的话就回到上一步。

Answer 4

把excel主键那一列取出，然后删除跟库里相同主键的记录，最后把excel表格里的数据集体插入到库里

追问

你这种方法不行,先删除数据库记录在插入的方法都不可行,因为导入到数据库里面的数据是跟其他表有关联的,在业务上也有关联,如果一条数据正在使用过程中,突然把他从数据库删掉了再导入,那这条使用中的数据该从何而来?

追答

那就先取出跟excel主键相同的记录之后进行更新，然后从内存删除更新后的记录，剩余的记录集体插入到库里面

追问

这个也不行,因为我模板是固定的,如果要添加信息的话是先从系统里把之前导入的数据导出来,在导出的excel后面添加数据,然后再进行导入的,照你这样说,取出excel主键相同的记录,那除了后来添加到excel的记录之外,前面的所有记录在数据库都是存在的.

追答

问题是你要对已存在的记录进行更新，如果没有这个更新的话，只插入新增的记录就可以了。另外你如果对之前的记录都做了修改的话，你是不是都需要更新到数据库呢？

追问

对,如果对之前的记录做了修改的话,都是需要更新的,换句话说就是,数据库里存在的记录与excel里的内容,只要是数据库表的id和excel表的序号对应上的,都是需要执行更新操作的,无论内容是否修改过.

Answer 5

可以 一次性将数据库的数据 查询出来，放到数组中，然后就不用 访问数据库了，直接 用

追问

这种方法虽然避免了频繁连接数据库,但是一次性把数据读取出来放到数组中的话,效率也不行啊,数据少的情况下还可以,数据多了效率就非常明显了,遍历数组时间就够久的了.

追答

那就不要用分歧判断了，直接 先删除 excel ，然后直接插入

追问

你该不会是说把数据库里的数据全删掉了然后在插入excel吧?