存储带宽 一飞冲天？

前言及竞争局面

最近，笔者眼前及耳边经常出现关于存储带宽的争论。有两家厂商在此领域相互争斗，诉诸法庭，甚至被媒体乐此不疲地当做八卦新闻讨论。可能很多熟悉存储业务的读者已经觉察到，本文说的正是EMC和HDS(日立数据系统公司)一一存储界的泰山和北斗。笔者研究了这两家厂商的诸多技术细节之后发现，它们在高端领域的争斗，正悄然带来存储市场格局的新变化。

    竞争局面

    HDS产品的高可用性及良好性能使其在竞争激烈的存储市场得到高速发展。Sun、HP、SGI等行业内厂商的高端存储产品也以OEM HDS产品为主。从2001年开始，HDS通过与这几家IT巨头的合作，取得了令竞争对手意想不到的市场增长份额。特别是在2002年5月推出以第二代Hi-Star交换式架构为基础的9900V系列后，HDS占据了高端市场的主要地位。

    面对如此环境，EMC也不得不承认，2002年是EMC在高端市场举步维艰的一年。而EMC作为存储厂商中的老牌劲旅，多年来一直稳居高端市场占有率的首位。早在2000年，EMC认为传统的共享总线式架构会在不久的将来带来传输带宽的瓶颈，因此耗时近三年终于研发出采用DMA架构（Direct Matrix Architecture，直接矩阵架构）的Symmetrix DMX系列产品。

    交换式存储架构与共享总线式架构有何本质的差别？
对于有高可用需求的用户提供的服务有何性能的不同？
DMX的推出对存储技术预示出什么？

架构分析

1. 共享总线式架构

    传统的高端存储阵列基本上都采用共享总线式架构，但由于缓存到处理器的信息交换仅通过一条共享系统总线，因此难免会引起冲突甚至影响性能，限制存储阵列的可扩展性等关键指标。所以，它正在被新的存储技术所取代。据了解，在存储领域，传统的共享总线式架构的磁盘阵列提供的数据传输带宽最大为1.6GB/s。目前，基于这种架构的代表产品有：HDS的7700E，EMC的8000系列等等。（需要特别强调的是：这篇文章中所出现的带宽数量都是存储系统的额定带宽，有效带宽会根据应用负载及其他带宽消耗的不同而稍有出入。）

    2. 交换式架构

    为了提高存储性能，2000年HDS推出采用交换式架构的HDS 9900系列，即第一代的Hi-Star交换技术。HDS是高端存储领域中惟一使用这种架构的厂商，当时的代表作是9910和9960两款产品。这种新架构的技术提供“点对点”、“无阻塞”的数据访问，其中9960使用64位RISC CPU，在满配置情况下其内部连接提供高达6.4GB/s的带宽，其中3.2GB/s用来传输数据，另3.2GB/s传输内部控制信息。如图1所示，在交换式架构中，最重要的部件是CSW（Cache SWitch，缓存交换模块）。通过CSW交换，提供8条到处理器端的通道及4条到缓存模块的路径。在9960中共有4个CSW，从而共提供到处理器端的32条路径及到缓存模块的16条通道。从处理器到CSW交换模块的每条总线频率为100MHz，数据位宽16bit（即2个Byte），因此每条通道的数据传输速率达到200MB/s，32条通道共提供6.4GB/s的数据传输带宽，而数据传输即CSW到缓存模块的带宽为3.2GB/s。另外，CSW还可以提供路径仲裁功能，保证数据传输没有障碍。

两年之后，即在2002年5月，HDS又推出了第二代升级的交换式架构。相比第一代Hi-Star架构，每个CSW到缓存模块端的路径增加到8条，因此共能支持到处理器端的32条路径及到缓存模块的32条通道，从而传输速率成倍增长。采用第二代Hi-Star架构的代表产品为9970V和9980V。在满配置9980V系统中，内部数据传输速率高达15.9GB/s，其中10.6GB/s被分配到数据传输，5.3GB/s被分配到内部控制信息的传输，提供更好的可靠性、高可用性、易管理性和极强的扩展性能。

    正是由于交换式架构的成功，HDS在高端存储上蚕食着EMC的份额。甚至有报导指出，在2002年第四季度，HDS一度超过了仍采用共享总线式架构的EMC。我们在上文已经提到，EMC在三年前就认为传统的共享总线式架构会在不久的将来产生传输带宽的瓶颈。下面我们就来看看这3年来EMC的成就。

    3. 直接矩阵架构

    两年来饱受HDS挤压和竞争的EMC，终于在2003年3月向中国市场发布了其创新的DMA，并宣称这一技术将在未来10年内取代传统的共享总线式及交换式架构。EMC将此系列产品定名为Symmetrix DMX，是第6代旗舰级的存储系统。其中包括DMX800、1000、2000、1000P和2000P等几个产品。

    DMA架构技术中的关键点是内部连接方式及缓存模块，其中内部连接使用矩阵方式，从而实现真正的点对点的直接连接，所有数据传输通道都是相互独立的，不会出现由于争用带宽而出现性能下降、用户响应时间缓慢等现象；至于高性能的缓存设计，则最大支持32个相互独立的缓存模块，共128GB缓存。

    DMA架构的核心是通用缓存控制器（Global Cache Director），采用多功能的、可靠的内存技术，实现矩阵式的传输通道，并通过传输通道仲裁以优化在前端通道控制器和后端磁盘控制器间的数据传输速度，尤其在大负载和多突发负载情况下性能更为突出。DMA架构最多支持8个通用缓存控制器，而每个控制器负责控制4个独立的缓存模块，8个通用缓存控制器可以同时、并行地访问到所有32个相互独立的缓存模块。每条通道的传输速率为500MB/s，因此DMA架构中缓存间带宽为16GB/s。

    而实际上，EMC的DMA架构总传输带宽可高达70.4GB/s，这个“一飞冲天”的数字是怎么得到的呢？下面我们来看看这种算法。如图2所示，在DMA架构中，从缓存模块到前端通道控制器中，有128个直接的点对点连接，而到后端磁盘控制器也有128个直接的点对点连接，内部矩阵就是由这些直接连接组成的。每个独立通道的传输速率为500MB/s，经过计算得到总的数据传输带宽为64GB/s。加上6.4GB/s的控制信息传输带宽，总带宽达到前所未有的70.4GB/s。在实际过程中，数据传输带宽取决于缓存间带宽，因此，这64GB/s的带宽并不能说明什么（采用这两种架构的产品的关键指标比较见附表）。

趋势判研 

1.“交换”取代“共享”

    目前来说，在计算机系统中，总线式架构仍然被广泛应用。而业界的厂商也在为此做不断的努力。事实上，HDS的交换式架构的设计思路也来源于RISC架构服务器，如Compaq的Alpha Server DS20。在内存及处理器之间取消传统的系统总线，转而采用交换式架构，可以提高处理器的响应时间及系统性能。另外，很多朋友都知道，前段时间非常热的InfiniBand技术，正是采用全新的交换架构，试图取代传统的I/O总线技术。可以看出，交换式架构取代传统的共享总线架构，将是一种趋势。

    2.“矩阵”冲击“交换”

    通过上文中的架构及产品比较，可以看出直接矩阵式架构是一种具有突破意义的计算机系统新架构，其缓存控制器和磁盘控制器技术的设计思路也将会影响到整个计算机产业的发展。EMC的DMX系列在磁盘扩展性方面还不如HDS 9900V系列，但由于其架构的特殊性及前瞻性，实际上可以支持更多的磁盘设备。正如EMC所宣称的，在不久的将来，它会推出支持多于2048块磁盘、512GB通用缓存及128个相互独立的缓存区域的产品，不仅在性能和可用性方面实现了大幅跨越，还可以通过平稳扩展来处理今后10年的高端存储需求。最重要的是，它一改存储行业常见的习惯做法，即以高价格换高性能，将成本利益与操作的便利一并交给用户的方针。Hi-Star与DMA之间，不愧是针尖对麦芒的竞争。也正是由于这两家巨头的不懈努力，才会快速推动存储技术的不断发展。

本文首发《微电脑世界》
参与本主题讨论，请点此访问“存储大本营”。

未经允许不得转载：DOIT » 存储带宽 一飞冲天？