Ozone的Erasure Coding方案设计
文章目录 前言 EC技术以及EC下的存储效率的提升 Ozone下的EC方案设计 Container Level的EC实现 Block Level的EC实现 引用 前言 众所周知，在当下存储系统中为了存储效率的提升，Erasure Coding(纠删码)技术在扮演着一个越来越重要的角色。比如说目前Hadoop HDFS中，它就已经能够支持EC功能了。在EC模式下，HDFS 可以不必存储多打3份这样的冗余副本数来为了容灾保护。存储效率的提高意味着存储海量数据所需要的存储节点资源的减少。不过本文并不是聊HDFS的EC实现的，而是谈谈时下另外一个存储系统Ozone的EC设计，也是简单聊聊在Ozone的对象存储模式下，EC要如何实现以及它能够带来的好处。 EC技术以及EC下的存储效率的提升 关于EC技术本身，全称Erasure Coding，中文称之为纠删码技术。EC的具体算法实现细节网上资料讲述的也已经很多了，本文不做过分细致的阐述。 简单的来说，就是将原始数据块进行划分成多个data block，然后根据EC算法的计算，产生出新的校验块(parity block)，如下所示： 当上述数据块或者校验块发生丢失或者损坏的情况时，系统可以根据EC算法进行重新生成来恢复，以此达到数据保护的效果。 还有一个问题，这里的数据存储效率的提升体现在哪里呢？ 继续以上述例子为例，在上面3个数据块