深度整合英特尔傲腾,SmartX首发100us级超低延迟超融合解决方案

泄露秘密 提交于 2020-08-11 22:28:32

6 月 17 日,致力于超融合中高端市场的SmartX公司正式发布基于核心软件 SMTX OS 与英特尔® 傲腾持久内存的高性能、低延迟超融合解决方案与SmartX Halo P系列一体机。

SmartX 在业内首次将英特尔傲腾持久内存以App Direct Mode (应用直接访问模式),并作为核心组件用于超融合解决方案中。与此同时,通过对计算虚拟化、存储网络以及存储介质的端到端优化,以有限的计算资源获得业内领先的高性能与超低延迟服务器虚拟化存储性能。在集群测试中,只需要 3 个节点P系列一体机,即可达到 120万的 IOPS ,同时,应用端延迟保持在 100us 以下。

 

https://uploader.shimo.im/f/i3QuflBGGGXqPWya.png!thumbnail

一般来说,传统架构的IT基础设施,采用的是虚拟化层、服务器层、存储网络和阵列的传统分层结构,这种分层架构对运维人员来说很不友好,要想把基础设施运维的好,一般至少要学习四套不同厂家的产品,并让他们一起运转起来。

而超融合方案可以简化整个系统。首先,不需要依赖于特定的硬件,只需要依赖于标准的X86服务器就可以,从硬件上可以降低客户运维的复杂度;其次,在软件方面,包括计算的虚拟化功能、服务器管理功能、存储管理功能和网络管理功能都在一套软件栈,并且在统一的UI界面上提供所有功能,不需要学习很复杂的运维手册就可以把基础设施运维起来。

 

https://uploader.shimo.im/f/gTiAsI0msFqvxFUh.png!thumbnail

 

另外,超融合还可以做横向扩展,分布式存储架构在并发性能上与传统架构相比有一个非常大幅度的提升。随着节点的增加,性能和容量也会实现线性的提升。”SmartX 联合创始人兼CTO 张凯介绍。

为此,SmartX推出了超融合软件解决方案SMTX OSSMTX OS包含多个模块:虚拟化服务、分布式块存储、外部控制台以及SmartX的双活数据中心和SmartX的备份系统这两个高级服务。

 

https://uploader.shimo.im/f/RchAjmed13LrBzZq.png!thumbnail

 

凭借优异的产品稳定性与特性,SmartX产品已经被银行、证券、保险、基金等金融行业用户应用生产环境。但当用户希望将超融合应用于核心系统并替换裸金属服务器与全闪阵列时,仍对超融合计算虚拟化、网络和存储层带来的延迟信心不足。

张凯称,性能对客户来说是一个非常有价值的指标,决定了你提供的VM可以支撑的业务类型,比如有一些核心业务系统如果软件性能无法达到,就无法迁移到超融合系统上。

2020年上半年,他们对SMTX OS做了一次比较大的优化,将整体性能提升近50%。在此基础上,他们结合英特尔傲腾持久内存,让性能提升更进一步。

张凯介绍,SmartX2019 年启动代号为 Sailfish(旗鱼,海洋中最快的鱼类)项目,将英特尔傲腾持久内存 App Direct 模式用于缓存加速,同时对 SmartX 超融合软件SMTX OS 进行全方面优化。

英特尔傲腾持久内存在内存和 SSD 之间新增加了一个存储层级,具备像内存一样的超低访问延迟,超高寿命与可靠性,同时还具备持久化存储和按字节访问的能力。在 App Direct 模式下,特定的应用程序可直接访问由英特尔傲腾持久内存带来的独立持久内存资源。

https://uploader.shimo.im/f/A1zSZDTB8qvJ4FZh.png!thumbnail

为了充分发挥傲腾持久内存的能力,Sailfish项目对计算虚拟化到存储网络以及存储介质进行了端到端优化。

 

https://uploader.shimo.im/f/ffEiIO9OtXZpV2wA.png!thumbnail

而由于超融合架构的部署特点,以上的性能都必须在有限的计算资源实现,这一限制条件为Sailfish项目带来诸多的挑战。基于此,SmartX研发团队对系统进行了如下重大改进:

https://uploader.shimo.im/f/TMVmpOhWrlGFMqGL.png!thumbnail

在存储层,Sailfish 项目充分发挥英特尔傲腾持久内存App Direct模式低延迟和持久化存储的能力,保存集群中最经常被访问的数据。同时为了保证数据的可靠性和高可用特性,缓存的数据也会以副本的形式保存到其他的节点中。不仅如此,SMTX OS充分利用持久内存的字节访问特性重新设计了日志,有效解决日志写放大问题。并通过 DMA 方式,将内存与持久内存之间的数据拷贝任务,下放到硬件中完成,极大地提高了内存拷贝的效率,在提升存储性能的同时,不产生额外的CPU 资源需求。

https://uploader.shimo.im/f/eu44DHCiKqhnbytM.png!thumbnail

在计算虚拟化层,通过 SMTX ELF Boost 模式将存储虚拟化功能,从虚拟机中下放到存储软件栈中,避免了因 IO 请求经过虚拟机而产生额外的性能开销。同时通过 VM 与存储系统共享内存的方式,避免在 IO 路径上发生内存拷贝。

https://uploader.shimo.im/f/QGUnn4r0rZFBtZ02.png!thumbnail

在存储网络层,通过使用 RDMA over Converged Ethernet RoCE )进行网络IO加速,并将网络协议的实现部分,下放到网卡硬件上完成,充分利用网卡硬件的加速功能,极大的降低分布式存储在网络通信时的性能开销。

https://uploader.shimo.im/f/sgkhLxggOIWRKdgt.png!thumbnail

经过以上优化,虚拟机的 IO 性能提升了 3.2 倍,同时延迟降低了 85% 以上。

 

https://uploader.shimo.im/f/eo73Hw83lAQZki97.png!thumbnail

 

目前,Sailfish 项目中使用到的技术已经集成到了最新的SmartX Halo P 系列一体机,并已在金融行业进行了测试和部署。

张凯介绍,SmartX Halo P 系列一体机适合三类场景:第一,高性能、低延迟的核心数据库,比如甲骨文的核心交易数据库,或者SQL server核心的交易数据库等都可以很好的运行在超融合系统上。第二,高密度服务器,运行多个VM,而每个VMIO要求非常高时,要想达到超高密度,节省物理机的数量,需要本地的存储能够提供超高性能来支撑的高密度虚拟化服务。第三,AI机器学习场景,AI场景对存储的带宽要求非常高。

https://uploader.shimo.im/f/2IbhXW2VX5m2r0wP.png!thumbnail

 

与市场某主流中高端全闪阵列相比,三节点的SmartX Halo P 系列一体机的8KB 随机读性能为120 IOPS,达到全闪阵列的1.4倍,顺序读带宽达到25GB,是全闪阵列的2.1倍,同时应用端延迟只有100us,而全闪阵列仅控制器端延迟就达到了500us。不仅如此,P系列一体机依旧保持超融合架构简单、弹性的特点,并提供相比于中高端阵列,极具竞争力的总拥有成本。

此外,SmartX CMO兼战略合作总监库依楠表示,基于超融合构建私有云架构已成趋势,他们的相关方案已在大型银行和大型券商落地。SmartX也在逐渐增加云原生时代相关的产品和解决方案的投入,一如既往地围绕存储和计算的核心引擎进行突破。

比如,在云原生时代分布式存储已经支持了持久化存储,以及在容器里部署相关的分布式存储方案。同时在计算引擎方面,从去年就开始在做像虚拟化容器统一的管理、编排。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!