澜起科技邱铮：详解CXL内存扩展技术的价值和具体解决方案

2022中国数据与存储峰会期间，CXL大内存论坛在线上召开，澜起科技技术市场经理邱铮在论坛上发表了题为《CXL内存扩展解决方案》的主题演讲，内容介绍了CXL互联协议在解决内存发展瓶颈方面的价值，并以澜起科技的MXC为例，介绍了具体的实现方案。

以下内容根据演讲速记整理而来：

关于澜起科技的简要介绍

澜起科技是一家国际领先的数据处理及互连芯片设计公司，主要致力于为云计算、人工智能领域提供高性能、低功耗的芯片解决方案。

澜起科技在服务器市场深耕多年，旗下有津逮系列的CPU^®，有安全内存模组，可提供高性能的安全服务器平台。在互连芯片方面，澜起科技在服务器内存接口芯片市场上已经处于世界领先地位，如今正积极拓展CXL内存这一新兴领域。

内存系统的发展趋势

随着云计算、人工智能、高性能计算等技术的发展，处理器的算力不断地在提高，处理器的核心数也越来越多，这也推动了对内存大容量、高带宽的需求。

从下图可见，过去几年来，平均分配到每个计算核心的内存容量在不断增加，从早期的3、4GB每个核心，到4-6GB每个核心。2021年，每个计算核心上面平均要分配8—10GB的内存容量。

从带宽来看，虽然整机的内存总带宽是在不断提升，但是相对于核心数来说，每个核心上面的内存带宽提升并不明显。

从内存成本发展的趋势来看，过去十几二十年来，随着DDR内存的发展，单位内存的成本在不断下降。但近几年来，下降的趋势变得更平缓了。

很重要的原因在于，由于内存的基本单元之一是电容，而电容的尺寸在目前情况下很难再进一步缩小，这制约了内存制程的进一步提升，随着内存容量不断提升，内存条的成本就会上升。

内存容量和带宽持续发展面临的巨大阻碍

如今，一方面需要更大容量的内存，一方面又需要高带宽的内存访问能力，如何增加内存的带宽和容量呢？

以往的做法中，就是在处理器当中增加内存通道，从上图可见，处理器支持的内存的通道数，从早期的3通道、4通道，发展到了现在的6个内存通道、8个内存通道，将来的处理器还会支持12个内存通道。

然而，处理器支持的内存通道不可能无限地增加下去。

因为，每增加一个DDR内存通道，都要增加很多信号，随着通道数的增加，处理器要处理的信号数量会越来越多，这对于处理器的封装设计，以及主板的PCB设计来说，都是很大的挑战。

另外，随着内存控制器越来越多，也会对处理器的功耗和散热设计带来很多的问题。

从经济性的角度来看，现有的DDR内存延时低，但是成本较高，市场上出现了一些新的存储介质，虽然延迟比较大，性能比较差，但是成本很低。如果系统能够支持不同的存储层级，意味着成本上面可进行一些优化。

但是，目前处理器主流的DDR接口无法兼容多种存储介质，虽然处理器可以通过PCIe接口来支持其他的存储介质，但无法在系统的角度保持不同存储介质间的缓存一致性，数据传输的效率无法进一步提升。

CXL为内存技术进化提供了新的维度

CXL协议的出现，为解决内存系统存在的诸多问题提供了一个很好的解决方案。

CXL是一个开放的工业标准，由英特尔首先提出，业界许多领先的企业，包括处理器厂商，内存厂商，芯片设计厂商，以及OEM、CSP的厂商，都加入到了这个联盟当中。

CXL协议在物理侧上沿用了PCIe Gen5的规范，这也为高带宽提供了很好的基础。在物理层之上，它定义了三种不同的协议，根据支持的协议数量的不同，可以把CXL设备大致分成三个类型。

今天我们主要看第三种设备类型，也就是CXL的内存扩展。

设备三的类型，主要是支持CXL.mem协议，主机的处理器通过这个协议，把这个内存读写的请求，发送到CXL的控制器，CXL控制器再把这些请求转给后面的内存控制器，并完成相应的指令。

通过CXL串行接口，处理器可以利用相对较少的信号数量来扩充内存的带宽和容量。同时，CXL控制器来解耦了处理器对存储介质的依赖，使得不同的存储介质都可以通过各自的CXL控制器连到同一个处理器上。

于是，从系统的视角来看，这就形成了可统一管理的、具有不同特性的存储空间。

从上图可以看到CXL与主机的连接方式，以及它在系统的体系当中的位置。

左侧是一个CXL设备，右侧是一个支持CXL协议的处理器，两者主要通过三种协议连接到一起的，分别是：CXL.io，CXL.mem和CXL.cache。

CXL.io协议跟PCIe的协议基本上保持一致，主要用于设备的发现、配置、初始化，还有一些中断等服务，CXL.io的数据和PCIe一样，都是走到处理器的IO部分。

CXL.cache和CXL.mem是CXL新定义的协议：CXL.mem协议主要用于处理器访问设备内存，CXL.cache协议主要是用于设备来访问系统的内存。

这两种协议的数据，跟CXL.io不同，它是统一纳入到处理器的内存一致性管理单元。所以，它的数据延时相比于传统的PCIe或者说CXL.io来说就能够大大地缩小。

从逻辑上来看的话，设备的内存控制器，就等价于处理器的内存控制器。设备上的这些异构处理核心，包括GP-GPU和一些加速器单元都等价于主机处理器的计算核心，等价于CPU的核心。

从主机处理器的角度来看，内存发过来请求，都是从内存一致性管理单元发出来的。根据内存请求不同的地址范围，这些请求，要么发送到处理器自己的内存控制器上面，要么发送到CXL设备上面的内存控制器。

同理，设备商的计算核心的内存访问请求，也跟跟主机处理器一样，也需要发送到内存一致性的管理单元。由内存一致性管理单元来处理各个缓存的一致性的问题。最后才将相应的数据，发送到设备上的计算核心。

如此一来，内存、设备的内存，在系统中是统一分配和管理的，它由主机和这些设备共享，还能保持缓存的一致性，这就使得数据的访问效率大大地提高。

CXL内存模组是使用CXL作为内存互连技术的内存模组，它摆脱了传统DDR模组的限制。

如上图所示，它可以把不同的成本，不同性能的存储介质，通过CXL的接口连接到系统当中。

上图是传统的存储层级图，传统的DDR内存延迟是在100纳秒左右，传统的SSD设备的延迟在100微秒的级别，两者中间存在很大的Gap。

CXL可以连接不同的存储介质，填补中间的空档，使得整个内存系统在性能上和成本上都得到了大幅优化。

澜起科技在CXL产品上的进展

澜起科技作为CXL联盟的成员之一，也很早就启动了CXL内存扩展项目。

2022年第二季度，澜起科技研发生产出了业界第一款的CXL内存扩展控制器，叫Memory Expander Controller，简称MXC，它属于CXL第三类的设备，也就是CXL.mem设备。

MXC兼容CXL 1.1和2.0的规范，支持标准的DDR4和DDR5接口，可以广泛地应用在不同的模组类型上。比如传统的PCIe卡的形式，或者是新型的EDSFF的形态，或者服务器的背板。

MXC支持标准的DIMMS内存条，也可以支持内存Onboard的设计。澜起科技在很早之前就跟业界主流的DRAM厂商、平台厂商，像MemVerge这样的软件方案厂商展开合作，来共同推动CXL生态的发展。

MXC芯片能够为处理器提供高带宽、低延时的内存访问，实现高效的内存资源共享，降低系统软件栈的复杂度，降低数据中心总体内存的成本。

CXL控制器方面，MXC芯片支持CXL.mem和CXL.io协议，物理层上是一个X8 PCIe5的接口，最高速度能够支持32GT/s。MXC芯片支持丰富的RAS特性。

DDR控制器方面，MXC芯片兼容JEDEC标准的DDR4/5的规范，可以支持UDIMM、RDIMM和OnBoard的设计。支持的速率最高DDR4-3200MT/s，DDR5-4800MT/s，还支持一些低功耗的模式。

MXC芯片是内存扩展和池化的关键器件。

在一个服务器的节点当中，MXC芯片可以以不同的模组形态，进行内存的带宽和容量扩展，满足一些高内存带宽的业务需求。也可以在新平台中，继续使用DDR4的内存条，来降低内存的成本。

随着将来CXL 2.0平台的推出以及Switch交换机的推出，多个CXL的模组还可以组成一个内存池，通过Switch交换机连接到多个服务器节点，灵活地满足各台服务器对内存的需求。

内存池化应用的价值

在CXL技术出现之前，内存和处理器是紧耦合的，内存都部署在服务器节点内。

有调查发现，内存成本是占整个服务器成本的比例很高，但是在实际使用中，内存的使用效率并不高，有的内存空间根本没有被访问，有的内存空间则存放了一些比较冷的数据，它访问的频率其实很低。

这部分的内存没能很好地发挥它的价值，如果用CXL来做池化，这意味着单节点服务器可以部署较少的内存，大部分的内存可以从服务器当中解耦出来，通过CXL技术，形成一个内存池，连接到多个服务器上。

在使用中，通过Switch将内存动态地分配到有需要的服务器上，从而可以大大提高内存的使用效率，使得数据中心用较低的内存成本，能够满足实际业务的需求。

以上，就是此次分享的主要内容，澜起科技关注到CXL会推动数据中心的内存架构的变革，也将继续跟我们的合作伙伴一起，为CXL技术的发展做出贡献。

未经允许不得转载：DOIT » 澜起科技邱铮：详解CXL内存扩展技术的价值和具体解决方案