端到端超高性能 宏杉科技NVMe全闪存存储解决方案

宏杉科技产品部总工程师单东来

闪存技术发展非常快，从存储介质、存储设备，到存储网络都有非常多新的突破。怎么把这些新的技术整合起来，构建端到端超高效能NVMe全闪存存储解决方案?

宏杉科技成立于2010年5月，专注存储技术12年，是中国最早做企业级存储设备的企业，目标从来没有改变过：为用户提供企业级数据存储和数据管理解决方案。宏杉成立伊始就加入了全球网络存储工业协会SNIA，成为中国首家投票会员。宏杉开发的全自主核心存储系统ODSP，持续迭代更新至今已有将近2000万行代码，有非常好的一致性和兼容性。2017年宏杉推出了首台NVMe全闪存存储阵列，2020年 MS700G2-Mac参加了SPC-1测试，取得了IOPS性能全球第一的成绩。

如今，宏杉全闪存存储阵列也采用了越来越多的国产器件，支持海光、飞腾两款国产CPU，与国内NVMe硬盘厂商广泛合作。在今年随着RoCE技术的发展，宏杉总结了研发过程和用户实施的经验，发布了基于25G以太网的全IP数据中心解决方案，提升数据在存储网络中的传输性能，更好地发挥闪存的优势。

宏杉科技全闪存家族系列，包括主打高性能Mach系列，IOPS最高性能可达1100万，AFT系列主打扩展性全闪存应用，该系列可支持28个接口卡，可支持38400块硬盘。另外就是AF系列，主打性价比。

如今行业应用市场的状况是各种各样新应用层出不穷，如互联网金融、物联网、AI、超算、自动驾驶等，这些新应用带来了巨大数据处理需求，同时也需要高性能存储。以超算为例，动辄上百个计算节点构成计算集群，需要实时进行大量数据的分发、同步和交互;再例如AI模型训练，大量GPU运算需要底层数据系统快速提供数据资源，需要高吞吐量数据带宽支持，随着GPU性能快速提高，存储系统性能瓶颈的问题凸显。

应对这些新型应用的存储答案就是全闪存，无论性能、成本都是未来方向。全闪存存储时代已经到来。越来越多的全闪存存储正在由SATA SSD、SaaS SSD升级到NVMe SSD。NVMe SSD带来了存储设备性能的巨大增长，如此性能瓶颈也逐渐转移到存储网络上，以往的FC SAN、IP SAN已经不能完全释放全闪存存储性能。

需要构建更高速的存储网络，以实现数据中心端到端NVMe存储系统性能的提升。原生的NVMe，是固态盘完全通过PCIe连接到CPU。如今NVMe已经可以扩展到各种类型网络上，也就是NVMe over Fabrics。IDC统计数据显示：2021年中国63.1%的全闪存存储阵列已经部署了NVMe over Fabrics。

宏杉引领NVMe技术发展，先后发布了多款NVMe全闪存存储阵列，形成了独具特色的各异NVMe全闪存存储家族，既有盘控分离，也有盘控一体;有主打性能，也有主打扩展性的，本次分享的端到端超高性能NVMe全闪存存储方案，就是依托于Mach系列的NVMe全闪存存储阵列

宏杉Mach系列产品针对NVMe协议采用了全新的硬件构架和软件算法，全方位地释放了闪存颗粒的性能。Mach闪存介质与CPU采用NVMe协议进行数据交换，采用PCIe总线连接，不再有繁杂协议转换。其中MS7000G2-Mach系列产品，双控配有50块NVMe SSD盘，每块NVMe SSD全部配置两个PCIe3.0的接口，分别和两个控制器直接进行数据交换，每块SSD均有自己独立数据通道，而不是多块硬盘复用数据通道。MS7000G2-Mach可以提供1600GBPS后端总带宽，释放后端闪存介质性能，解决后端链路的瓶颈。

2020年10月，MS7000G2-Mach在全球权威存储性能测试组织SPC-1的性能测试下，实现了1100万IOPS、最高压力时延是0.337ms、总体时延0.264ms的成绩，这个性能全球领先。此外，存储网络带来的延时所占比例凸显，是整个存储系统性能的瓶颈。

2021年数据中心超过50%的以太网交换机已升级到25/100G，25GE、100GE发货量快速地增长，基于NVMe over RoCE已经成为存储解决方案共识。宏杉基于NVMe over RoCE构建了全IP数据中心解决方案，通过了无损以太网交换机ECM、PFC等关键技术，宏杉搭建了高性能无损存储访问网络，在某大银行总部的客户测试中，对比25GE NVMe over RoCE和32G FC SAN，数据表明，基于25GE RoCE环境下，4K随机读写IOPS时延普遍地好于32G FC SAN的环境,由此确认了：在性能上，RoCE实现了对FC的替代和赶超，标准RoCE并非完美。

传统标准以太网缺乏故障主动发现和通知机制，存储端发生端口或者链路故障时，需要应用多次发送失败后，才会检测到故障，由此造成链路切换时间长，严重时甚至会导致存储业务中断。此外，在应用性方面，传统以太网络需要逐点手工配置，操作复杂且容易出错。

为了提高RoCE SAN的可用性和易用性，宏杉自研了SNSD，也就是存储网络智能发现查检，由此实现了存储端服务器与交换器的智能联动，共同去实现存储设备的即插即用，故障快速切换。宏杉实现了iNOF，也就是智能无损存储网络场景下的多路径软件，在存储链路或者端口出现故障时，可以和宏杉自研的多路径软件进行配合，实现路径的秒级切换。

宏杉自研了iNOF环境下的双活技术，实现了存储设备在NVMe over Fabrics环境下的可靠灾备，实现了双活链路的长距离无损切换。宏杉SNSD插件能够与交换机配合，当存储端发生链路端口故障的时候，存储网络可以实时感知并快速地告知服务器进行一个链路切换。配合宏杉的多路径软件，可以做到一个秒级的存储的切换访问。如果有交换设备、主机甚至存储在iNOF网络中接入或者离线，它都会在特定的时间之内，做这个信息一个发布，存储网络会自动地响应。通过iNOF以后，可以把整个存储系统，它的这个网络的切换速度控制在500毫秒之内。

宏杉自研的SNSD技术，可以与iNOF交换机联动，实现仅需要在单点配置存储网络以后，自动地同步到全网，进而实现宏杉存储设备的即插即，一键式扩容，从而大大简化了运维。

另外，宏杉NVMe over RoCE不限于一个数据中心内部，也可以用于两个甚至多个数据中心之间，也能够基于RoCE去构建无损后端访问网络，如双活，通过无损网络搭建，同步复制实现了数据长距离传输零丢包、高性能。宏杉端到端超高性能NVMe全闪存存储解决方案，可以满足各行业核心业务性能需求。

宏杉与麒麟、CentOS、英特尔、鲲鹏、海光等软硬件主流厂商进行了充分测试和认证，在实际项目、在研发过程中，都有着深度的合作。宏杉产品和华为、H3C、紫光的无损交换机都可以进行兼容拥有着完善的生态。

最后看两个案例，一个是浙江石油，他们的ERP包含全省的零售系统，大概有1000多个加油站，昼夜不停地进行服务。其后端就采用宏杉NVMe直连架构的MS7370G2-Mach，在业务的高峰，其读写平均时延稳定在60微秒左右，读写缓存命中率稳定在95%以上，满足了用户超高的性能需求。

第二个是贵阳农商行，采用了端到端NVMe解决方案进行数据中心的建设。采用了NVMe over RoCE网络，宏杉帮助客户打通了云平台、操作系统、服务器、存储之间的链路，以NVMe-OF的方式为基础数据中心提供端到端的解决方案，简化运维，提高了数据存储的性能，同时避免了FC产品使用，满足了国家对信创的要求。

最后总结一下，宏杉科技端到端超高性能NVMe全闪存存储解决方案有两个技术要点：

1.NVMe直连架构，构建高性能存储系统，25GE/100GE高带宽、低延迟RoCE访问链路，实现无损网络，实现数据零丢包。

2.基于RoCE开发的端到端智能存储网络，自研的SNSD插件，与iNOF交换机智能联动，配合自研iNOF多路径双活，赋予了RoCE网络即插即用，故障快速切换的特性。

宏杉解决方案总结下来有三个优点：

1.构建了全IP网络架构，简化了运维。

2.充分发挥了NVMe的特性，性能更优。

3.所有的器件生态非常地成熟，成本更低。

以上是宏杉科技端到端超高性能NVMe全闪存存储解决方案的介绍，感谢大家!

(根据宏杉科技产品部总工程师单东来演讲整理而成，未经本人确认)

未经允许不得转载：DOIT » 端到端超高性能 宏杉科技NVMe全闪存存储解决方案