Question

往数据库中加载大量数据（1000w条）有哪些方法，最快的是哪种，为什么？

大家注意，1000w条只是一个概念，就是很多的意思，请不要抠这个字面

Answer 1

1.可以使用ETL工具，比如PowerCenter，Datastage，这个做的好处是可以直接自动调用，适合做完后定时、经常使用的场合。
2.使用文本load，这种方式是先吧数据从源数据库导出至文本，然后使用Load命令导入数据库中，这个在最后导入的速度是最快的。
3.其他程序的方法，一般来说到了执行阶段都是拼成Insert语句让数据库执行的，这样的速度都不会很快。

Answer 2

对正常的数据库比如sql server 或oracle, 1000w 不是太多问题。
oracle 有一个工具叫sql loader，load 1000W级数据最快可以在10几分钟完成。
我用C#程序插入100W条数据到sql server 2005 可以在3分钟内完成。
因为影响因素太多，很难说哪个最快。

追问

“100W条数据到sql server 2005 可以在3分钟内完成”能否看一下你的代码。有多少原因就说多少，大家可以讨论一下

追答

代码早就不在了，当时就是为了验证数据库速读写的最普通的ADO.NET代码。
记得表只有3，4 列，用RAND产生随机数，插入数据库。
数据库和application在同一个工作站。

一下想到的影响因素包括：
1. 网络带宽，connection pool管理机制。
2. application server 的速度。
3 数据库server的CPU速度。
4. 数据库server的硬盘速度。
5. 数据库的partition情况。
6. 当时数据库的负荷。
7. 数据库设计，主键的设计，索引的多少和分布情况，有多少列，各列的数据分布。
8 数据库server， application server的内存。

Answer 3

往数据库中加载?你想说保存数据到数据库吗？最快的是导入，你的数据源也是数据库的话，就导出，然后导入，如果是Excel，Access之类的也可以直接导入。