Question

大量数据导入sql数据库问题

遇到一个问题，我需要从一个网络服务器读取数据再插入到本地sql数据库。从网络服务器读取的数据是xml字符串格式，因为数据很多，需要从网络服务器多次分页获取xml数据，每次获取100条数据再读取字符串存放在dataset缓存中。
我将本地数据库表结构字段等设计和网络服务器一样。用了多个办法不行，请高手指点。
方法1、dataset通过逐条读取数据，组织插入sql语句插入到本地数据库，循环操作。但数据总只能插入几十条数据。请问什么问题，是否是循环插入速度过快，数据库插入操作未来得及响应么？如果改成存储过程，是否可以解决这个问题。

方法2、使用dataset填充本地数据库，能够成功插入几千条条数据，但之后就不插入了，是否是缓存未清理导致满的问题？而且dataset插入有个问题，本地数据库需有主键，如果已插入的数据再插入会主键重复报错，有其他办法解决么？
我在c#.net中开发，网络服务器数据动态的，不能全部下载下来

Answer 1

方法1：但数据总只能插入几十条数据。请问什么问题，
应该是你插入的数据不符合约束条件造成的，可以去掉数据库的约束定义，也可以在程序中设置检测语句，
方法2：使用dataset填充本地数据库，能够成功插入几千条条数据，但之后就不插入了，
这个问题没怎么遇见过。应该不存在缓存未清理导致满的问题，你多设置断点调试，
如果已插入的数据再插入会主键重复报错，这是正常的。你去掉主键约束，或不插入重复值就可以了

Answer 2

第二个问题我遇到过一次，不过那是在我没有把数据库连接给关闭的情况下，如果没次插入后都主动的把数据库连接给关闭后，我就不出现这个问题了，你那可能是数据库的连接数目已达到SQL Server 的最大连接数了，你可以查一下试试