请教一个问题,将一个大数据量的表,根据某列值拆分为多个表,怎样效率才最佳?
mssql数据库,有一个表,有千万以上数据,今后每次都是根据某列的值取出样本来分析,此列的值有几十万个,不适合做索引吧。所以想先把数据按该列的值拆分成多个样本表保存,也就...
mssql数据库,有一个表,有千万以上数据,今后每次都是根据某列的值取出样本来分析,此列的值有几十万个,不适合做索引吧。所以想先把数据按该列的值拆分成多个样本表保存,也就是会有几十万个样本表,这样以后就可直接从一个表直接取出全部样本了,想请教下怎样处理效率才最高呢。对原始表循环每条记录然后插入各样本表,每次要对样本表建立连接,最后总耗时是不是很多?
展开
1个回答
展开全部
其实索引效率是最高的,不过也可以使用以下两种方法:
一:增加一列,根据类型进行分类,如农产品设置为1(或者是农产品字样),钢材产品设置为2(或者是钢材字样),等分析的时候,就加上这个字段的特定关键字进行处理;
二:根据类型进行分类,然后生成几个表进行单独分析。这样的话如果各类型的数据量相仿和类型较少(小于10个),这样容易维护,如果类型太多,就没有必要进行拆分多表,建议还是使用第一点比较好。
另:上千万的数据,查询时,如果不确定,最好使用选择性查看,别全表搜表。比较慢。
一:增加一列,根据类型进行分类,如农产品设置为1(或者是农产品字样),钢材产品设置为2(或者是钢材字样),等分析的时候,就加上这个字段的特定关键字进行处理;
二:根据类型进行分类,然后生成几个表进行单独分析。这样的话如果各类型的数据量相仿和类型较少(小于10个),这样容易维护,如果类型太多,就没有必要进行拆分多表,建议还是使用第一点比较好。
另:上千万的数据,查询时,如果不确定,最好使用选择性查看,别全表搜表。比较慢。
追问
增加的那一列,如果类型太多,几十万个的话,做索引合适吗
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询