我有一个Mysql的数据库,每天大概增加1000W条数据,持续至少一年,有如下问题:
每天添加的数据量占硬盘空间多少?用MyISAM压缩的情况下(压缩率大概24%?)在一年后需要经常遍历访问,为追求效率,用哪种存储方式最好(有多台服务器的情况下)?Mysq...
每天添加的数据量占硬盘空间多少? 用MyISAM压缩的情况下(压缩率大概24%?)
在一年后需要经常遍历访问,为追求效率,用哪种存储方式最好(有多台服务器的情况下)?
Mysql用哪个系统做服务器比较好?最好请说明原因。
我是搞研究的,最近开始接触数据库,需要大量分析数据。请多指教。谢谢。答得好继续追加。 展开
在一年后需要经常遍历访问,为追求效率,用哪种存储方式最好(有多台服务器的情况下)?
Mysql用哪个系统做服务器比较好?最好请说明原因。
我是搞研究的,最近开始接触数据库,需要大量分析数据。请多指教。谢谢。答得好继续追加。 展开
3个回答
展开全部
首先这么大的数据量不建议使用MySQL这种免费版的数据库系统,可以使用Oracle等这种大型数据库系统,其对于数据库中数据的管理、查询等的效率要比MySQL好非常的多。
如果你一定要使用MySQL,其服务器操作系统最好使用Linux,也可以使用国产的红旗Linux。
如果数据库非常的海量,那么可以考虑使用刀片式服务器进行数据库集群模式,采用分布式的数据库系统,如此可以提高查询的效率。
既然你是搞研究的,那么对于这种巨量的数据库管理系统的数据分析可以采用SAS数据仓库来进行对数据进行分析。
如果你一定要使用MySQL,其服务器操作系统最好使用Linux,也可以使用国产的红旗Linux。
如果数据库非常的海量,那么可以考虑使用刀片式服务器进行数据库集群模式,采用分布式的数据库系统,如此可以提高查询的效率。
既然你是搞研究的,那么对于这种巨量的数据库管理系统的数据分析可以采用SAS数据仓库来进行对数据进行分析。
追问
非常感谢你的回答。依照你的经验,在如此海量数据下,用Linux+MySQL的效率和Linux+Oracle效率差距大吗?
我的程序是在前期收集数据时只写不读,分析时继续收集数据,但是对于所有数据经常的遍历读取,这种情况用什么样的储存结构比较好?
这是我个人研究,没有多少经费,希望能获得一个性价比最高的方案。对于你建议的SAS数据仓库,我很感兴
趣,虽然从未接触。请问有相关的文档链接可以提供吗?
今至电子科技有限公司
2024-08-23 广告
2024-08-23 广告
数据库备份是确保数据安全与业务连续性的关键环节。我们上海今至电子科技有限公司高度重视数据保护,定期执行全面的数据库备份策略。这包括使用先进工具和技术,对关键业务数据进行自动化备份,并存储在安全可靠的外部存储介质或云端。通过定期验证备份的完整...
点击进入详情页
本回答由今至电子科技有限公司提供
展开全部
每天1000W数据 几天mysql就完了 还想查询
这种优化属于系统性优化了 不是单纯数据库的问题
------------------------
下面给一下存储方面的建议 以优化性能
1、选取最适用的字段属性--将表中字段的宽度设得尽可能小。 在可能的情况下,应该尽量把字段设置为NOTNULL,这样在将来执行查询的时候,数据库不用去比较NULL值。
对于某些文本字段,例如“省份”或者“性别”,我们可以将它们定义为ENUM类型。因为在MySQL中,ENUM类型被当作数值型数据来处理,而数值型数据被处理起来的速度要比文本类型快得多
2、使用连接(JOIN)来代替子查询(Sub-Queries)
3、建立索引
4、常用关联表使用视图
注意:mysql删除大量数据时 有索引的表删除非常缓慢
------------------------
mysql对系统没啥具体要求
当然最好是windows的服务器
视图好 方便安装工具进行查询和错误排除
这种优化属于系统性优化了 不是单纯数据库的问题
------------------------
下面给一下存储方面的建议 以优化性能
1、选取最适用的字段属性--将表中字段的宽度设得尽可能小。 在可能的情况下,应该尽量把字段设置为NOTNULL,这样在将来执行查询的时候,数据库不用去比较NULL值。
对于某些文本字段,例如“省份”或者“性别”,我们可以将它们定义为ENUM类型。因为在MySQL中,ENUM类型被当作数值型数据来处理,而数值型数据被处理起来的速度要比文本类型快得多
2、使用连接(JOIN)来代替子查询(Sub-Queries)
3、建立索引
4、常用关联表使用视图
注意:mysql删除大量数据时 有索引的表删除非常缓慢
------------------------
mysql对系统没啥具体要求
当然最好是windows的服务器
视图好 方便安装工具进行查询和错误排除
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
1000万条记录,估计大于300M。
存储引擎效率当然选myisam。可以采用主从服务器(前提是业务需求实时性不高),主服务器用来增删改,从服务器用来查询。
也应该用分表技术。
对于常用的表,要每天进行更新视图,将访问高的记录通过视图查询。
操作系统用的多的是CentOS。
存储引擎效率当然选myisam。可以采用主从服务器(前提是业务需求实时性不高),主服务器用来增删改,从服务器用来查询。
也应该用分表技术。
对于常用的表,要每天进行更新视图,将访问高的记录通过视图查询。
操作系统用的多的是CentOS。
追问
非常感谢你回答。业务读取实时性不高,但是写的实时性很高,每天1000W的写入,一段时间后再统一遍历查询分析,主从系统这样会不会很慢?
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询