Question

大数据环境下分布式文件系统有哪些特点,相应的优化思路是什么

Answer 1

分布式元数据管理：分布式元数据管理主要通过元数据服务分布式部署的方式，实现了元数据分布式管理，解决一般分布式文件系统的单元数据服务节点导致的响应用户请求效率不高、存储文件数目受限和单点故障等问题，具有降低用户请求处理延迟，提高分布式文件系统的可扩展性和可用性的特性。一般包括完全分布式架构、元数据访问负载均衡、元数据服务器高效索引、元数据服务器弹性伸缩等技术点。

多层级存储管理：多层级存储管理用于实现内存 / SSD/HDD 等异构存储设备的池化管理，以及各类存储设备的动态接入管理，通过设备抽象和提供统一命名空间，面向分布式文件系统提供统一的存储资源池，支持热点数据自动感知和智能化存储调度，最大程度提升数据存储与访问的效能。一般包括异构存储设备管理、多存储系统适配、统一命名空间、基于热度的存储资源调度等技术点。

数据一致性保障：数据一致性保障主要解决分布式文件系统中多副本和缓存等在数据存储与访问过程中的一致性问题，通过构建数据一致性模型、进行数据一致性校验等方式，保障数据在存储和访问过程中的一致性，在提升数据访问性能的同时确保数据存储和访问的正确性。一般包括一致性协议优化、一致性检验等技术点。

高并行读写优化：高并行读写优化用于提高分布式文件读写的并行化水平，最大化提升分布式文件系统下的数据访问效率。一般包括分布式数据访问缓存管理和调度算法优化、IO 算法优化和合并 IO 等技术点。

分布式散列与动态均衡：分布式散列与动态均衡实现分布式文件系统下高性能的数据块定位，提高数据访问性能，以及数据块的迁移和再平衡，提升分布式文件系统的稳定性和可持续服务能力。一般包括基于一致性哈希的数据块索引管理、动态数据再平衡等技术点。

存储高可用：存储高可用通过数据多副本技术、状态自检测和自修复、核心服务分布式部署等技术手段，实现自动检测分布式文件系统中的各种错误和失效，并且在文件系统出现错误和失效时可自行进行多副本间的数据修复，最终持续向用户提供正常的数据访问服务。一般包括可配置数据多副本、数据自恢复及自维护等技术点。

海量小文件高性能存储访问：海量小文件高性能存储访问主要采用小文件汇集成大文件进行存储、细粒度二级索引管理等技术，实现在现有分布式文件系统的基础上，扩展对海量小文件的存储与访问的能力，同时解决小文件的随机读写问题，大大提高分布式文件系统对海量小文件的存储访问效率。

Answer 2

到计算机的文件存储系统可能很多用户的认知都还停留在D、E、F盘，其实这已经是过去式的传统文件存储系统了，高稳定性的分布式文件系统现如今已经凭借其众多的特点受到了更多计算机用户们的认可于情况。那么分布式文件系统的特点都有哪些呢？接下来就这个问题进行简单的介绍。

特点一、容量更大
容量更大是分布式文件系统众多的特点当中比较具有代表性的，特别是对于日常工作需要进行大容量数据文件存储的计算机用户而言更是急需这种功能，值得一提的是还能够让用户根据自己的实际存储需求来任意进行横向的无限制扩展存储的节点，这是传统的文件存储系统所无法比肩的。

特点二、性能更高
分布式文件系统能够受到更多计算机用户的认可与青睐与其更高的性能是有着密切联系的，有些用户对于数据和文件的存储有着很高的要求，过去传统的文件存储系统显然已经难以更好的满足用户们的实际使用需求了，而分布式文件系统则能够任意的进行横向存储节点的扩容，从而在性能方面表现得更加理想。

特点三、可靠性更强
对于计算机用户们来讲很多已经做好存储的数据及文件都是至关重要的，而一旦计算机出现了故障而导致这些重要数据及文件的灭失将会造成程度不等的损失，分布式文件系统更强大的可靠性无疑能够完好的规避这种情况的发生。

对于计算机用户们来讲在体验过了分布式文件系统之后都会给出正面的评价，尤其是上述的这几个显著特点更是用户们所特别看重的，不过值得注意的是用户们只有选到专业分布式文件系统才能真正体验到其所带来的种种便捷功能。