大数据涉及哪些技术
大数据现在应该是非常受欢迎的词语,那个大数据与什么样的技术有关呢?
永洪科技的技术有四个方面,其实也代表了一部分通用大数据基础技术:
Z-Suite具有高性能的大数据分析能力,她完全抛弃了向上升级,全面支持横向扩展.Z-Suite主要通过以下核心技术支持PB级大数据:
跨粒度计算
Z-Suite支持各种常见的总结,支持几乎所有的专业统计函数.由于跨粒度计算技术,Z-Suite数据分析引擎发现了最佳化的计算方案,将所有费用大、昂贵的计算移动到数据存储的地方直接计算,称为库内计算.该技术大大降低了数据移动,降低了通信负担,保证了高性能数据分析.
并行计算(MPPComputing)
Z-Suite是基于MPP架构的商业智能平台,她可以将计算分布在多个计算节点上,在指定节点上总结计算结果输出.Z-Suite可以充分利用各种计算和存储资源,无论是服务器还是普通电脑,她对网络条件都没有严格的要求.Z-Suite作为据平台,Z-Suite可以充分发挥各节点的计算能力,轻松实现对TB/PB级数据分析的秒级响应.
列存储(Column-Based)
Z-Suite是列存储的.基于列存储的数据市场,不读无关数据,可以降低读写费用,同时提高I/O的效率,大幅提高查询性能.此外,列存储可以更好地压缩数据,一般压缩比在5-10倍之间.这样,数据占用空间将降低到传统存储的1/5到1/10.良好的数据压缩技术节约了存储设备和存储成本,但大大提高了计算性能.