对象存储系统

一提到对象存储，大家多半会联想到“存储海量文件”。但随着近几年大数据、云计算等应用场景的广泛部署，客户对业务的敏捷性要求越来越高，尽可能地精简业务处理流程、提高业务处理效率变得更加重要。面对这些需求变化，身处幕后的存储设备已经不能仅仅局限于“存储”这个基本要求。一些领先的对象存储厂商已经开始思考，如何将原本外置的业务处理能力集成到存储上来，让存储做“更多事情”，结合业务需求来赋能应用，帮助客户实现更大价值。 为了满足部分客户在海量图片处理场景下对业务敏捷性和处理效率的要求，SandStone MOS在V5.4版本中新增图片处理功能，使图片处理的全业务流程均在对象存储内部完成，让流程处理从“繁琐低效”走向“简洁高效”。本文即对该特性进行专题解读。 一、图片处理业务导致海量数据高吞吐 随着各类企业文档、图片和音视频等非结构化文件的数量逐步从千万级快速增长至数亿级别，并呈现持续的指数级爆炸式增长，分布式对象存储已逐步替代传统NAS存储，成为当今企业内非结构化数据存储的标配。非结构化数据（尤其是图片文件），通常与企业的业务流程紧密相关。比如银行的购房贷款审批业务，购房者提交的申请材料通常包含身份证、户口本、个人收入证明及购房合同等各类文件的扫描件，并以图片的形式长期存档。整个审批流程包含了对图片的各种处理需求，比如通过缩略图来提高浏览效率、通过打水印以便于追溯图片来源

一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统 。ceph 的统一体现在可以 提供文件系统、块存储和对象存储 ，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会 采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 官网：https://ceph.com/ 官方文档：http://docs.ceph.com/docs/master/# 二、Ceph特点： 高性能： a. 摒弃了传统的集中式存储元数据寻址的方案， 采用CRUSH算法 ，数据分布均衡， 并行度高。 b.考虑了容灾域的隔离，能够 实现各类负载的副本放置规则 ，例如跨机房、机架 感知等。 c. 能够 支持上千个存储节点的规模 ，支持TB到PB级的数据。 高可用性： a. 副本数可以灵活控制。 b. 支持故障域分隔 ，数 据强一致性。 c. 多种故障场景自动进行 修复自愈 。 d. 没有单点故障 ，自动管理。 高可扩展性： a. 去中心化。 b. 扩展灵活。 c. 随着节点增加而 线性增长。 特性丰富

自2006年至今十余年来，金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案，如下图1所示，Documentum结合DB的索引能力和NAS的存储能力，向上为影像平台等业务提供文档数据的存储和检索读取服务。 近年来随着非结构化数据的爆发性增长，由于Documentum系统架构问题，此套解决方案出现了明显性能瓶颈，杉岩海量对象存储系统（SandStone MOS）采用全分布式架构，针对海量文件场景提供可线性扩展的持续快速访问性能，同时提供全方位的海量数据保护支持和数据生命周期管理功能，能够完美替代Documentum。作为金融行业内容管理系统的未来核心模块，不仅要提供现在和未来的服务保障，更要能够完美接纳客户现有数据，所以需要提供平滑友好的Documentum迁移方案。 Documentum应用架构 基于Documentum的应用平台如图2所示，存储仓库（Repository）作为数据及元数据的最终存放位置，包含内容存储系统（Content Store）及元数据存储系统（Metadata Store）; 内容服务器（Content Server）位于存储仓库之上，通过封装好的接口给上层应用提供处理文档数据的调用接口；上层应用（Web Application、Desktop Application等）通过调用内容服务器提供的API接口

MinIO创始者是Anand Babu Periasamy、Harshavardhana(戒日王)等人， Anand是GlusterFs的初始开发者、Gluster公司的创始人与CTO，Harshavardhana曾经是GlusterFs的开发人员，直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训，系统复杂度上作了大量简化。 一、MinIO简介 01.概述 MinIO对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于Apache License v2.0开源协议的对象存储系统，它完全兼容Amazon S3接口，单个对象最大可达5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。 MinIO主要采用Golang语言实现，整个系统都运行在操作系统的用户态空间，客户端与存储服务器之间采用http/https通信协议。 02.设计哲学 极简理念——采用尽可以简单可靠的集群管理方案，摒弃复杂的大规模集群调度管理，减少风险因素与性能瓶颈，聚焦产品的核心功能，打造高可靠的集群、灵活的扩展能力以及超高的性能。 积木式扩展——建立众多的中小规模、易管理的集群，支持跨数据中心将多个集群聚合成超大资源池，6而非直接采用大规模、统一管理的分布式集群。 03.设计原则 04.产品特点 05.高级特性 二、技术架构 01

参考文章链接： 一篇文章让你理解Ceph的三种存储接口(块设备、文件系统、对象存储)： https://blog.csdn.net/wangmingshuaiguo/article/details/92628036 Ceph介绍及原理架构分享： https://www.jianshu.com/p/cc3ece850433 Red Hat Ceph存储—《深入理解Ceph架构》： http://ceph.org.cn/2018/06/29/red-hat-ceph%E5%AD%98%E5%82%A8-%E3%80%8A%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3ceph%E6%9E%B6%E6%9E%84%E3%80%8B/ ceph IO切割成对象和对象名的组成(块存储)： https://blog.csdn.net/a1454927420/article/details/78134554 三种存储类型比较-文件、块、对象存储： https://blog.csdn.net/sinat_27186785/article/details/52032431 块存储就是在物理层这个层面对外提供服务，使用它的系统，有用自己的文件系统格式化。这样一旦被一个系统使用，就独占了。 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以