Question

上亿条数据的数据库做优化 查询结果都是千万级别的 怎么优化

表创建字段
create table qq(
id int not null,
username nchar(10),
phone nchar(11),
createbytime datetime
)
测试数据 循环插入数据
DECLARE @i int --声明i字段，字段类型
set @i=0 --设置i初始值
WHILE @i<10000000 --10000为你要执行插入的次数
BEGIN
INSERT INTO users (username,phone,createdate) VALUES ('张三','13572471111',GETDATE()) --循环插入SQL语句
SET @i=@i+1 --设置变量i的值
END
DECLARE @i int --声明i字段，字段类型
set @i=0 --设置i初始值
WHILE @i<10000000 --10000为你要执行插入的次数
BEGIN
INSERT INTO users (username,phone,createdate) VALUES ('李四','13572472234','2018-05-13 05:06:05.300') --循环插入SQL语句
SET @i=@i+1 --设置变量i的值
END
DECLARE @i int --声明i字段，字段类型
set @i=0 --设置i初始值
WHILE @i<10000000 --10000为你要执行插入的次数
BEGIN
INSERT INTO users (username,phone,createbytime) VALUES ('李五','13572471254','2018-05-12 05:06:05.300') --循环插入SQL语句
SET @i=@i+1 --设置变量i的值
END

要查2018-05-13到今天的所有数据 怎么优化 现在查询的话 需要20多秒
select * from users where createbytime between '2018-05-13 00:00:00.000' and '2018-05-14 00:00:00.000'

求解

Answer 1

第一优化你的sql和索引；
第二加缓存，memcached,redis；
第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas,其它的要么效率不高，要么没人维护；
第四如果以上都做了还是慢，不要想着去做切分，mysql自带分区表，先试试这个，对你的应用是透明的，无需更改代码,但是sql语句是需要针对分区表做优化的，sql条件中要带上分区条件的列，从而使查询定位到少量的分区上，否则就会扫描全部分区，另外分区表还有一些坑，在这里就不多说了；
第五如果以上都做了，那就先做垂直拆分，其实就是根据你模块的耦合度，将一个大的系统分为多个小的系统，也就是分布式系统；
第六才是水平切分，针对数据量大的表，这一步最麻烦，最能考验技术水平，要选择一个合理的sharding key,为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带sharding key，将数据定位到限定的表上去查，而不是扫描全部的表；
mysql数据库一般都是按照这个步骤去演化的，成本也是由低到高。