mysql插入一亿条记录,怎样设计表
现在在做一个用户表,目前有100多个text文本,几个系统导出的用户加起来接近8500W条数据,将来会有1亿现在要用mysql插入这8500W条记录,看到了网上所说的一样...
现在在做一个用户表,目前有100多个text文本,几个系统导出的用户加起来接近8500W条数据,将来会有1亿
现在要用mysql插入这8500W条记录,看到了网上所说的一样,是不是应该分100张表啊?每张表100w条,
那么我的问题就来了,几个系统的用户名(Email)肯定有些会重复的,插入的时候还要判断,用户名(Email),是否已经存在100张表里面了,如果存在就不在插入了,这个是怎样来查询啊?还有就是怎样判断表已经到了100W条了,插入就是到下一张了 展开
现在要用mysql插入这8500W条记录,看到了网上所说的一样,是不是应该分100张表啊?每张表100w条,
那么我的问题就来了,几个系统的用户名(Email)肯定有些会重复的,插入的时候还要判断,用户名(Email),是否已经存在100张表里面了,如果存在就不在插入了,这个是怎样来查询啊?还有就是怎样判断表已经到了100W条了,插入就是到下一张了 展开
1个回答
展开全部
你再建立一张数据记录表,这个表是用来记录你插入数据的条数的。
你每次插入数据就调用存储过程,通过存储过程判断现在是第几条数据了,该向哪个表插入数据了,插入完成后再更新数据记录表。
判断是否存在重复的email也很简单,通过存储过程进行循环,当然你的表名要起得有规律,比如record0 ......record99,这样就可以通过存储过程进行了。
当然,你可以设定成为动态的,在插入存储过程的时候,判断是否已经快到100张表了,如果快到了就再新建100张表,当然现有表的数量当然是存在咱们那张数据记录表中了。
希望能帮助到你。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询
广告 您可能关注的内容 |