ThinkSystem DXN分布式存储，聚焦数据新价值

这个时代主角是数据，我们要从数据的角度，更广义的来看待存储。除了联想凌拓ThinKSystem DXN之外，一切适合数据形态的，适合数据价值发挥的，无论是数据库还是说数据湖，甚至说ThinKSystem DXN存储，都是一种数据形态。所以未来的存储除了要好数据管理之外，更多的时候需要帮助客户更加容易获取数据的价值。

要了解数据存储，就要回到数据最原始的需求上来。

首先，并不是有了存储技术才带来了技术演进，而是在于信息技术的演进形成了新的形态。无论是互联网，还是移动互联网，资源共享、时空交互或者个性化等，在这种技术的演进和加持，带来了新的数据特征和需求。数据转化量大、快速、数据种类的复杂。存储技术来源于数据处理，也要从数据采集开始，从企业内部的自有数据到外部的采集数据，或者说第三方的数据，其中包括结构化数据、半结构化数据和非结构化数据。数据处理技术也从OLTP数据库技术到数据仓库，再到数据湖等，以及现在流行的Lakehouse（湖仓一体）。

数据采集、产生之后，就要进入到数据应用的层面，数据化转型往往在这里卡壳，因为更多的时候,要基于对业务和市场的理解，把数据应用到创新上面来。这里就构成了数据驱动的内循环，数据处理和驱动最终会反馈给存储技术演进，不断调整，小步快跑，快速迭代。这种技术迭代的速度会越来越快，传统行业的创新也会越来越多。

联想凌拓对于数据层次有自己的理解和领悟，首先我们的定位是一家数据管理和智能解决方案的公司。那么我们要做的目标是以数据的价值层次来提供优秀的产品和服务，帮助各行各业的客户实现数据洞察和创新。在数据存储领域，我们要实现灵活的数据架构，来适合多变的需求。从数据的冗余结构到数据的分配，以及数据维护等，我们要做的是快速、高效的数据持久化存储。

第二层是在存储的基础上，让数据管理更加具备智能。要根据数据的业务特点和使用方式，来帮助客户优化存储管理和数字管理，来减少运维成本。

第三层是数据洞察。这也是数据变现、数据资产化的过程。这个部分数字化转型的关键，数据价值的层次与客户现有数据体系是不矛盾的。应用决定了数据存储方式以及存储类型、服务，采用专业化的存储设备，能够让你更加专注在上层的数据洞察。联想凌拓帮助大家解决数据存储和数据管理的后顾之忧。

存储技术发展趋势是由软件定义存储来引领的。

为什么这么说呢？

数据管理的核心是存储，这几年其实有了非常大的变化，最显著的当然是软件定义存储，变得越来越流行了。这也是因为到了互联网时代，流量和数据增长非常快，数据文件的系统化应用场景变了，开始需要大量的存储空间，传统集中式存储存在的性能天花版上限没有办法满足需求，惟有采用横向扩展的软件定义的分布式存储架构。软件定义存储无论在成本、效率上，都有大幅的提升。经过了软硬件解偶，存储系统不再依赖于专有的硬件，而采用了通用x86服务器平台，在PB级存储场景，分布式存储的优势就集中体现出来了，其成本比集中式存储的低很多。当分布式存储集群越来越大的时候，需要管理的节点数量增多，情况就会变得越来越复杂。因此智能化，具有自我进化的简化管理就成为分布式存储的必然选择。

分布式存储涉及的关键技术，首先是标准文件接口，需要支持符合POSIX文件接口标准，保障了分布式存储系统可以使用，同时用户的遗留系统也无需改造。其次操作对用户透明，用户能够像使用本地文件系统一样进行操作，如打开、关闭或删除修改文件。在持久化方面，要求保证数据不丢失，数据从内存到硬盘的过程需要一定的保护措施，不会因为中断而造成数据丢失。与此同时，存储集群需要具备伸缩性，当数据压力逐渐增长，要做一些扩容的时候，需要往集群添加节点，在实际操作中，需要防止瞬时流量把新节点挤爆呢？此外，数据一致性的问题，也就是说，只要文件内容不发生变化，读到内容都应该是一样的，这里涉及内部数据访问的安全性特性。

那么分布式存储的技术趋势有哪些呢？首先是接口的标准化，并不是所有的产品在接口规范上都相同，这意味着两个人对话，时不时冒出一句方言，另外一个人就会听得糊涂了。对于智能技术融合，存储需要更加适应上层业务特征，要具备自适应上层业务应用特点智能化特性。此外，我们知道分布式存储多采用副本、EC纠删码算法进行数据保护，而这种会是一种强抑制性，如果受到一些网络因素干扰，就会造成响应缓慢，如今新的技术趋势需要做到最终一致性，来满足实时化业务的需求。

至于降本增效，其实很好理解，就是在大容量的情况下，更加省钱，这里需要考虑后期的运维成本。再有就是数据分级存储，根据数据的生命周期，采用适配的存储介质，追求最优的性价比。

联想凌拓自研的ThinKSystem DXN分布式存储有哪些特点呢？

从硬件型号上，有2U性能容量均衡型，称为DXN2000 G2；也是2U高密集型，称为DXN2200 G2。如此，在2U空间里面能够提供16PB数据容量。此外，有4U高密集型，主要是用在海量存储业务需求上，或者说高带宽的需求上面。

DXN分布式存储支持x86服务器，也支持国产服务器，再配上高速网络就构成了分布式存储的硬件底座。借助DXN数据管理平台核心软件，可以将集群所有服务器节点内部的磁盘，构建成存储资源池，对外提供文件和对象存储服务。分布式存储是软件定义存储的一种，核心软件搭配国产化处理器芯片，如说海光、飞腾、申威等，这就符合了国产化信创的需求。DXN分布式存储的核心存储软件是MCS 3.0 (MagnaScale 3.0),真正做到软件和硬件解偶。联想凌拓分布式存储软件解决方案能够覆盖不同行业客户不同业务系统，如银行票据影像、医院PACS影像、学校和政府数字档案、云盘，或者是自然资源、遥感勘测文件，制造业图形、图纸或者广电媒体的媒资、影音文件等数据的存储。MagnaScale 3.0增加了一系列业务模式，推出了MCS认证，用于构建分布式存储系统生态，共同服务客户。

横向扩展是分布式最大的特点，横向扩展前提是将数据均衡打散，性能能够线性增长。DXN依托于MDS的AA架构，也就是元数据的多核架构，可以最大扩展到128个集群，并且每个集群有4096个节点。每个节点最大可以支持到1.6PB容量，总共管理超过5000万片硬盘，真正实现了海量的数据存储，数据在集群之间均衡打散，最终会达到横向平滑扩展的目标。

这张图展示了如何进行高线性扩展，从最初的3节点开始，可以一个节点、一个节点扩容增加，或者是一次性扩展更多的数据节点。这么多的节点资源都是在一个统一命名空间下访问的，统一管理，让客户可以轻松的管理超过1EB存储容量。

此外，数据需要全方位安全保护。我们知道，造成数据丢失的原因很多，有硬件故障，有逻辑故障，还有人为误删除等原因。对数据安全保护要更加具有针对性，要做到滴水不漏。因为真正有价值的是存储中的数据，要充分多层级的数据的防护。DXN数据保护三角，在每一层里面的保护都有明确的应对故障风险的方法，如本地的数据保护，联想凌拓采用了副本和纠删码，防止磁盘、节点或者或者机柜的故障所导致的数据丢失风险。

数据校验与恢复是为了防范应对静默错误造成的数据不可用。

什么叫做静默错误呢？

静默错误就是磁盘受到电子干扰，导致磁盘内的电极反转问题。表面上文件可能是完整无损的，但是当我打开文件的时候，就会有故障提示，无法打开。

数据快照与保护主要是应对逻辑故障和人为的误操作的安全技术。当某一个重要文件莫名其妙被删除了，可能是逻辑上的错误问题导致我的文件不可用。这是所有的副本、纠删码、远程复制都无法判断的。所以对于逻辑故障问题的时候，我们需要通过嵌套快照与WORM方式来留下数据的快照、不同版本的副本来做这样的防护。相比业务连续性是最高级别的安全保护，需要在不同的集群之间，通过文件的数据复制来应对各种灾害发生的场景。这对于数据安全要求比较严格的行业来说是必备的功能。

远程复制是业务高可靠性的一种手段。

DXN远程复制可以用4个关键词来形容：简单、灵活、可靠、快速。

简单，因为是文件级的数据复制，是基于文件目录卡片式管理复制对，每一个片对都是一张复制卡。我们在这张复制卡上可以监控数据状态和数据增量。在DXN中，可以设置不同的复制节点和复制节点角色，可以自己选择，并且自由的扩展和缩减。

灵活是指它的复制策略的灵活性，按照时间周期的维度来设置，按照年月日或者是每周几来进行复制，甚至说指定的时间段来进行复制。对于复制的网络，可以选用具有业务网络的复用，或者是选择单独的复制网络，可以保证复制的质量。

可靠是指DXN采用全对称式的架构，所以它的复制节点的故障也会自动切换，不会出现复制节点故障导致业务中断的风险。并且在恢复的时候，需要回切到接口的复制关系的时候，我们也可以选择两种选择：一种是直接保留原有的灾备站点的数据，一种是不保留原有的灾备站点的数据。

快速是指最小的RPO，恢复点目标可以设置成5分钟，并且通过QoS的方式来限定复制流量，让它不会对业务造成影响。对灾难发生的时候，最主要的是要用灾备站点来接管主站点用。众所周知，文件目录是有自己的属主和权限的，可以通过一键共享的方式，文件目录的权限和存储自动会同步到灾备站点的复制的配对的文件目录上来，能够实现对业务的快速的接管。

分布式存储架构问题会导致IO路径过长、文件变大的问题。那么在进行大文件的数据访问的时候，读写的时候它的性能还好。但是对于处理一些小文件，其实是有灾难般的结果。在进行分布式存储配制的时候，一般要在存储节点上面配制一定数量的SSD盘缓存，会把一些访问频率较高的随机小文件存入到SSD中，利用其高速IO能力来提升对小文件的处理速度。

小文件写入时，它首先会在SSD盘上进行落盘，达到一定数量的时候，数据会在SSD盘同步下发到机械盘上面。那么，当小文件读出的时候，它首先也会到SSD盘缓存空间上去找到这个小文件。如果缓存空间上没有上的话，才会到、后端的机械盘上去寻找。这非常适合一些随机的小块数据文件或者是读取密集型的路径上来使用。

联想凌拓做过一些对比，发现缓存能够有效的提升小文件处理的速度。如图右下角所示张，4K纯读IOPS能够提升76%以上的性能。

文件智能负载均衡策略是3.0的一个功能，主要是为了防止节点访问局部“热点”。

什么是热点呢？

分布式存储往往需要面对不同应用的特点，其定位是海量的数据存储，有的应用系统访问存储数量越多，有的访问比较少，如此就可能造成某些节点会造成访问过热的现象。这个时候可以将策略调整为根据连接数、或者是CPU、内存的综合负载来判断哪些是空闲节点，依此来承接新的负载。此外，当集群规模变大的时候，其节点数量也会变得很多。要维护这么大的集群，DXN更多采用自动化的方式，通过集群的全景可视化的展示效果,每个部件使用状况都做到了如指掌。联想凌拓也设计了一个全新向导，可以一步步完成对存储的管理和使用，其节点故障和其他类型的故障也具备了自我修复的机制，尽量减少人工的干预。

DXN定位是一个非结构化的数据管理平台，也加入了S3对象存储的能力。

对于对象存储来说，更多的是用在云应用、数据处理场景。在对象的使用上面，联想凌拓具备了许多非常好的能力,可以更多的考虑针对用户的使用习惯，来满足他们对对象的要求，从多个维度和多个场景来入手。这里包括对象WORM、对象桶策略、对象多版本、对象生命周期和小对象聚合等等这些特性。

为什么要做对象独立部署呢？

实际上文件和对象的访问方式是不同的，对系统资源的要求也不同。文件和对象的融合需要更多的硬件资源，如更性能CPU，更多的内核，更多的内存、缓存盘。在使用存对象部署的时候，也可以直接使用TerraCache fof Object，也就是把一整块SSD盘都用作为对象的缓存，包括使用小对象聚合的功能，适用一些纯对象的业务场景，性能会更好。

小对象聚合主要是针对一些当企业有大量的不同的应用的类型，如企业云盘，存放有几十K小文件的对象，或者是邮件文件。这些邮件的特点比较散碎，在后端存储存放的时候，由于小对象文件太多，会导致空间利用率不高。而且小对象IO处理，必然会导致在内部的处理会变得越来越复杂。联想凌拓在3.0当中也增加了小对象的聚合能力，将小于512k的小对象聚合陈一个4MB大对象这个操作是在线来完成的，会把这些随机的处理转化为大对象的顺序处理。因此在性能上面，将近提升了4倍的提升。同时，带宽的性能也提升了3.3倍，时延也降低了1.2倍。

对象策略管理是将更加精细化的、隔离不同的用户对桶存储操作。那么在使用策略管理之后，可以对桶来进行设置策略，每个策略都有三种结果，分别是显示拒绝、或者允许、或者默认拒绝。那么有了桶的策略设置，就可以在桶上做更多的执行操作，如对用户的权限管理更加细节。

DXN能够很好的跟ES形成联合解决方案，通过ES自定义元数据的特点，将元数据在写入DXN的时候，就自动的同步到DXN平台进行同步。并且通过DXN平台去快速去查找和定位这个数据文件。可以根据用户的特征信息来查找定位这个文件的，适合一些在大数据、AI的场景来使用。这里举例，比如说要从一个3000万照片的文件的桶里面找到所有“女性开车”的图片。那么这个时候我可以通过它的自定义元数据信息，包括照片特征的描述，能够快组的去获取这些数据文件的信息。

MagnaScale是DXN分布式存储的核心软件，拿到了多个国家级实验室的认证，并且也申请了多项国家发明专利，申请了3项软件著作权。作为一个本地的自研的分布式存储项目，联想凌拓一直在努力前进，帮助更多的用户从数据存储和数据管理中解放出来，更多的关注在数据洞察的层面。

  （本文根据联想凌拓产品营销经理吴静的演讲整理而成，未经过本人审阅）

未经允许不得转载：DOIT » ThinkSystem DXN分布式存储，聚焦数据新价值