浪潮存储：从SPC探秘存储负载与性能优化技术（中）

洞察应用存储负载，建立性能量化评估体系，构筑客户可信性能的全闪存储。

深度梳理和分析SPC Workload

浪潮对SPC的Workload进行了深度解读，期望借此对参与存储方案合作的SI、ISV合作伙伴以及行业最终客户起到一定的参考作用。

在这个将SPC全文100页的报告浓缩为一页的幻灯片上，存储空间被分成SU-1、SU-2、SU-3三部分，每个空间的比例不同，其中SU-1的Data Store超过50%，而SU-3为12.5%，这些空间的变化来自于SPC的会员单位的行业应用洞察。

这三部分存储空间承载的I/O并发流速并不一样，每个I/O流的I/O模式也各不相同，如SU-1的临时存储一共有四个并发流，其中三个都是8KB，另外一个流是混合流，速率从4K到64K不等，同时I/O流下发到尽管分出来差不多45的空间里，每个I/O流真正访问存储池或者卷，其存储空间的范围也不一样。

这些数据是捕捉了大量的workload后进行的一个系统统计分析，以尝试能够在实验室环境里面进行复原。

测试流程分为预埋数据、预埋数据监测以及数据收集，收集的各种性能数据涉及不同负载，时间可能长达到十几个小时，负载压力从百分之百满载按十个百分点下降或上升，之后再进行数据验证，检测数据是否为当时定义的数据模式，最后进入系统，这个时候会做一些控制器重启，检测可靠性等方面的能力。

全闪存最关注也是行业客户尚未关注到的I/O规格指标有哪些？浪潮最后得出的结论如下：

一是响应时间。

响应时间分成两类，一是百分之百满负载压力情况下，二是有选择的、不等负载力度环境下进行复杂运算（这种状态下客户可以感知到性能、感知到响应时间）。

二是延迟。

硬盘时代、响应时间为毫秒级的时候，尾延迟并不重要，但如果平均延时在一毫秒的时候，突然蹦出数十毫秒的响应，可能就要出问题了，因为大家一直习惯了非常快速的响应。不管延迟是99%，99.999%，误差都需要在5%这样一个时间范围内。

1.全闪Workload对比：从行业中来，到行业中去

目前，浪潮存储正尝试把全闪存应用最多的金融、通信以及AI等主流行业合作一起制订相应的行业标准。在金融行业，浪潮存储从2019年1月参与制订全闪的技术规范测试规范，也了解到这些行业的顶级企业在集采和入围采购环境下从混闪到全闪对workload的性能要求和规格变化，覆盖控制器升级/故障性能，盘故障、RAID重建性能。对比发现，通信和金融行业相对比较完善，AI在弹性能力和数据服务叠加领域还未涉及。

通过梳理后建立了三个纬度：

一是基准模式，包括业界熟知的I/O大小、随机顺序等；

二是弹性能力，如在客户生产应用的生命周期需要进行维护，包括综合横向的扩容、软件的升级，在真正出现这样那样软硬件的故障期间、恢复以后等的性能表现；

三是数据服务叠加。

从这三个方面来看规格指标的定义，SPC-1的workload指标定义与行业客户汇总起来的定义其实有偏差，各有长短，但是相对来说在基准测试模型方面，SPC的定义更系统、更完整。

2.全闪存储性能 场景关键能力之重

为什么业界对全闪系统更关注性能和workload、如何获取workload、如何存放存放workload，需要什么样的工具？

另一家行业组织，全球网络存储工业协会（Storage Networking Industry Association，简称SNIA）十多年前专门运作了类似的技术工作组并发布了相应的工具，不过业界参与的积极性还不够高。

在浪潮存储眼里，其实这是非常好的合作机会。

浪潮存储正在与部分高校合作。在沟通中发现，高等院校很希望接触到生产环境的测试，“从那儿挖掘出一些厂商以为是矿但高校认为是金子的好东西来”。

为了评估抓获workload存放产生负载，市场上已经推出了十多个工具，受到国内行业客户青睐的是vdbench，作为开源产品，由于创作者已经退休，所以该工具并没有得到持续维护，也一样存在有待于解决的问题。

无论是SPC还是IO500等专业工具以及商业工具、开源工具，除了体系梳理，将来也会存在变革的机会。

为什么要考虑全闪性能在场景存储关键能力上所处的位置？Gartner从2016年到2019年《全闪关键能力（critical capabilities）报告》时间轴变化中，把全闪存存储产品服务的IT应用场景分为五大类：在线交易、服务器虚拟化、高性能计算、数据分析和VDI；这五大场景中，Gartner收集的是真实客户使用IT基础设施的体验，以及从浪潮这样的存储厂商方面获取的信息。

通过建立相应的权重，可以看到性能在全闪的7项关键能力中在5大场景占据4个权重第一，其中虚拟桌面排名第二位，虚拟桌面存储的不全是持久的数据，也有一些虚拟机OS相关的临时文件，这部分数据如果出现问题，产生的影响不大，毕竟VDI客户关心的是数据的效率服务，比如重删、压缩等，后者比重占20%～40%；高性能计算的比重从42%提升至44%、数据分析场景从25%提升至36%，在线交易场景由28%降为26%，其他场景无变化。

Gartner的《全闪关键能力报告》中表明，厂商和客户应用关注的重点都在性能方面，并且正在加大研发领域的投入；性能，也堪称全闪存存储关键的因素。

3.存储负载与性能规格指标体系

依据各三方机构、行业客户的汇总信息，其建立的全闪存储工作负载、规格指标等其实各有短长；厂商也有责任和义务帮助用户明确workload要覆盖哪些、哪些是主流的、哪些是场景所需要不同的路径，同时也需要开发出自己能够捕获workload的测试工具，并在实验室里面可以重放，每一个新产品、新技术上市之前要做好验测，和一些场景结合定义方案。

浪潮存储对性能矩阵进行了结构化梳理，用一页PPT来呈现，组合了数千workload要素：一是基准，二是服务叠加，如快照、复制、双活以及压缩、重删等，三是在应用生命周期发生的扩容、升级、故障，维护等工作在迁移workload上面的性能指标。

最庞大的是基础。PPT对IOPS、I/O Sizes、随机顺序、读写比例等业界熟知的概念进行更多抽象化梳理，从而展示了一个树型的、从上往下，在椭圆形框中并行的选项，但真实生产应用环境存储负载远远不止一条路径，可能下来后有8条、16条几十条的路径下来，需要收集大量的规格指标。

4.全闪存储面临性能瓶颈

全闪的性能，多好算好，是不是已经足够好，发展到了尽头？

众所周知，时下计算机、服务器、存储、网络设计，都是遵从上世纪40年代的冯诺依曼架构，其I/O处理能力有两个基本的要求：容量按需增长、与计算处理一致的速度。在过去5年，CPU远远不及摩尔定律翻番的要求，人工智能GPU/NPU算力正在接棒CPU，延续高速增长摩尔定律，加剧存储I/O性能问题严重性。

站在今天的角度看明天，存储系统瓶颈已经很明显，NVMe（PCIeG3-G5）和DIMM成为SCM接口，并发效率极高，非易失性介质正在进化到存储级内存，访问速度的提升尤其是延迟的降低呈百倍级的变化，达到微秒级，而带宽随着PCIe的升级也是5至10倍的提升，曾经的16G正在向25G、64G、100G这样的高速存储发展。

借用行业两个经典报告《Redrawing the boundaries of software and Fast Memory 》与《Hennessy and Patterson, Computer Architecture》的数据来展示从硬盘时代到SAS SSD，NVMe SSD到DIMM的SCM介质，软件栈在延迟方面所占的权重越来越高，从不足1%到90%以上，即软件栈的延时瓶颈；而CPU的性能过去5年仅有5%的增长，已经成为IOPS的瓶颈。 （未完待续）

【下期话题：存储性能增长技术及浪潮存储的创新实践】

未经允许不得转载：DOIT » 浪潮存储：从SPC探秘存储负载与性能优化技术（中）