2020年度QingStor分布式存储升级有感：自研之路是必然的

以软件创新为主的软件定义存储降低了企业级存储市场的创新准入门槛，大家都用着同样的商用化标准硬件，在硬件上运行自己编写的软件，而软件本身易于复制的特性降低了成本；快速迭代的特性，加速了存储创新的步伐，各种新功能特性层出不穷。

软件定义浪潮下，以软件定义存储技术为核心的中国新一代存储系统公司陆续登场，他们可以分为两大类，一类主张要自研，一类主张加入开源生态，从策略上来讲，各有各的道理。对用户来说，无论是黑猫还是白猫，能抓老鼠的就是好喵。企业级存储也是一样，是自研还是开源，能满足企业需求的就是好存储。

铁了心搞自研的青云

在铁了心搞自研的青云QingCloud看来，选择自研这条困难模式是深思熟虑过的。在笔者看来，青云对于产品技术，至少是存储技术来讲，自己的想法非常多，创新点非常多，这么多想法完全没办法在现成的开源方案中实现，自研之路是必然的。

谈到为什么要坚持自研时，QingStor存储产品线研发负责人王煜表示，企业核心业务上云，对于存储的要求不只是性能和稳定性这么简单，还需要满足云计算在安全性、隔离性、大规模水平扩展能力的要求。而主流开源存储中，没有一款能够完全满足上述所有要求，包括Ceph和HDFS都有问题。（不要Ceph，青云自己做了一套QingStor文件存储系统）

青云QingCloud成立于2012年，2013年曝出的斯诺登事件让很多人满脸错愕地表示长了见识，也提了醒，不知道这跟青云现在的“技术洁癖”有多大关系。在外人看来，青云很技术，凡事都喜欢自己来，要搞懂代码的含义，在青云看来，是希望用全栈自主可控来消除企业对数据安全的顾虑。

自研需要勇气，需要长期、大量的投入，效果可能还不尽如人意，不过，青云QingCloud存储的市场表现不错，而且，还经常有新东西拿出来，可以说自研之路是成功的。

QingStor存储家族总共有四款产品：QingStor NeonSAN（分布式块存储）、QingStor对象存储、QingStor文件存储、QingStor融合存储，每一都款是独立进行架构设计和开发的，每一款都面向不同的场景。

QingStor存储家族追求的不是一步到位的通用性，青云QingCloud认为通用性会在许多方面做出弱化和妥协，于是先后发布了强调性能的QingStor NeonSAN（分布式块存储）、支撑海量非结构化数据存储的QingStor对象存储，以及可对接各种系统的QingStor文件存储。

考虑到市场上还是有融合存储的需求，需要一套存储支持多种存储类型和存储接口，于是，青云QingCloud也发布了QingStor融合存储。所以，青云这是妥协了吗？

不是的，原来，融合存储融合的三款专业存储只是在部署层面上做了整合，在架构层面上依然保持各部分原来的特性。该快的还是快，该海量的还是海量，谁也不影响谁，这与Ceph架构完全不一样。

过去几年来，青云QingCloud的存储保持每年一次大更新的节奏，最近，青云存储的全系产品又迎来了一次更新，正是一年一度的大更新，在这里做一个简单的介绍，看到这些更新，真的会感觉青云存储自研之路是必然的，也是必须的。

QingStor NeonSAN：支撑全闪存架构和容器平台

QingStor 存储产品线产品经理冯相东介绍了QingStor NeonSAN 3.0新增的四大功能，包括在同一个集群内支持不同配置的硬件，包括支持卷粒度的QoS，包括在物理机、虚拟机和容器平台上都支持用RDMA 互联。

特别值得注意的是，新版本还新增了对于NVMe-oF协议的支持，NVMe-oF是为闪存而生的协议，果不其然，青云QingCloud做起了全闪存，发布了QingStor NF6000分布式全闪存储一体机。

只需三节点的x86服务器即可，标准的硬件配置下能提供100万IOPS和0.5毫秒的低延迟，青云QingCloud是要打造极具性价比的全闪存，要破除分布式存储性能低的固有印象，按照分布式存储随节点扩展提升性能的特性，分布式全闪存的性能还是有很大发展空间的，当然，对于技术要求也非常高。

QingStor NeonSAN的版本迭代不断强化在核心应用场景上的能力，比如在云平台/虚拟化场景中不断丰富支持的虚拟化平台，在大数据场景中优化副本策略提升存储空间利用率，在业务连续性场景中简化管理的复杂度。

另外，新版本的QingStor NeonSAN新增了对于容器/云原生场景的支持，提供标准的容器存储接口和各种企业级特性，可为KubeSphere和Kubernetes这样的容器平台提供持久化存储能力。

考虑到企业落地容器平台的复杂度，青云QingCloud开源了K8s发行版KubeSphere容器平台，结合上支持容器存储的QingStor NeonSAN，最终推出了KubeSphere KF3000一体机，三部分整合优化后可提供商用级服务，免去了用户安装配置的麻烦，并且在性能上能达到很高的水平。

QingStor对象存储：兼备海量数据和高性能

QingStor对象存储产品经理贾斌介绍说，QingStor 对象存储在海量数据存储能力、高性能方面花了很大精力。特别是在一些小文件并发场景中，性能提升达52%，而且，QingStor对象存储的单桶（Bucket）数据超过百亿时，性能仍然非常稳定。最终，让QingStor对象存储兼备海量数据和高性能。

除了基础特性外，QingStor对象存储3.0新增了几个重要功能，并且强化了部分场景适用性。

首先，版本控制功能强化数据保护能力。版本控制功能可以记录数据的历史版本，需要的时候可以回溯，解决了企业级用户的数据保护需求，在意外删除、意外覆盖、恶意篡改后能找回数据，对于政务、金融、保险、公共安全行业特别有意义。

其次，数据追加写入功能强化视频监控场景，以应对诸如视频监控这类需要实时数据存储的场景。说到视频监控场景，对于数据并发存储的需求越来越高，对于结合AI大数据分析能力的要求也越来越多，这点，QingStor对象存储也都能很好的支持。

再一个是数据跨区域复制功能，结合官方工具qsctl和qscamel，可以让用户以可视化的方式对海量数据进行迁移，支持从传统存储迁移到分布式对象存储，支持跨云服务商、跨云服务区的复杂数据迁移，支持各种常见的迁移操作。

QingStor对象存储的一大优势场景是做数据备份，相比之下，传统备份方案的数据恢复缓慢、整体成本高昂、运维管理复杂，而基于对象存储的数据备份则非常的现代化，不仅运维友好，而且成本更低。

QingStor文件存储：强化通用性

QingStor文件存储研发负责人黄蒙表示，新版本首先通过优化架构和改用Rust编程语言来优化了性能，更重要的是，青云QingCloud对于文件存储也提出了新的想法，青云希望打造一款云计算基础架构下，更加通用的文件存储产品。

具体要在文件接口、扩展性和适应差异化需求这三方面下手。

在接口方面，经典的HDFS只支持部分接口类型，所以，通用性不够。对象存储本身就是为互联网设计的，虽然也可以通过协议转换支持文件协议，但性能额外损耗直接导致应用场景受限。QingStor文件存储的设计目标是要在支持通用文件接口和通用网络文件协议的前提下，提供一个可扩展，且高可用的分布式文件存储系统，以此来扩展使用场景。

在可扩展性方面，QingStor文件存储不仅能实现统一命名空间下的可扩展性，而且每个目录都具有可扩展性。而别的常见的方案中，单个目录不具备扩展性，这种方案的统一命名空间是通过将多个独立的本地文件系统组织起来，通过增加一个个本地文件系统来实现扩展。

后者最大的问题在于，当某个目录下的某个文件成为热点数据后，所有对它的访问都只能通过一个网关节点来进行，很容易出现性能瓶颈。QingStor文件存储的每个目录都可以真正扩展，而且允许多个逻辑接入节点同时访问相同数据，也就是说，数据访问的性能也具有扩展性。

在可扩展性方面，QingStor文件存储才是真正的可扩展性。

在满足应用的差异化需求方面，QingStor文件存储也有新操作，它支持为每一个文件系统提供差异化设置的能力，比如，用户可以按照需求选择副本数，还可以选择数据块大小，总之是给了用户更多自己选择的空间，以此实现灵活性，提升通用性。

一点感受

如前文所言，青云QingCloud对存储的想法是非常多的，而且执行力也很不错，比如跟KuberSphere容器结合做出的一体机，比如支持NVMe-oF的全闪存，又比如对于文件存储通用性的设计，都令人眼前一亮。许多细致入微的更新在技术应该很难，但对用户都非常有价值，行百里者半九十，不断打磨产品的心，只有自研才能放得下。

未经允许不得转载：DOIT » 2020年度QingStor分布式存储升级有感：自研之路是必然的