拥抱开源！上海交大云存储经验谈

前不久的一个存储论坛上，记者现场聆听了上海交通大学网络信息中心系统架构师黄保青关于构建云存储平台的经验分享，深入且全面地了解到在实施部署过程中如何解决存储、网络和虚拟化方面的难题，以及如何与开源OpenStack结合起来提供服务的应用实践。

据黄保青介绍，上海交通大学数据中心在闵行和徐汇校区建设有主备两个机房，距离超过30千米，通过校园万兆网络实现互连。现阶段共部署了100多台服务器，虚拟化程度达到60%。

上海交通大学在采用虚拟化技术方面起步较早，从2004年开始计划简化大型机的功能，再到初步实施服务器虚拟化，至今已经采用了VMware、 KVM和OpenVZ等技术。目前数据库以外的应用基本都运行在虚拟机中。由于考虑到数据库的IO比较密集，并且本身应用相对单一，所以没有将数据库放在虚拟机里面。

现在，上海交通大学现在已经可以为师生提供云服务，包括与厂商合作的云存储，为教师和学生提供20GB和10GB的存储空间，类似网盘的服务和文件共享服务，总容量达到30TB以上，“但这并不是架构在传统存储系统上，而是通过类似Google GFS的廉价存储系统实现的”。

此外，上海交大还筹备着提供基于OpenStack的IaaS服务，目前还处于测试阶段。谈到使用OpenStack的原因时，黄保青解释说，上海交大和很多厂商都有合作关系，但一直希望在数据中心建设方面拥有自己的一些东西，所以决定在OpenStack上提供IaaS服务。而在PaaS服务方面，上海交通大学利用VMware CloudFoundry提供一些应用级别的服务。

据了解，上海交通大学目前采用了NetApp、HDS和Sun StorageTek等传统存储系统，如何继续保留和使用这些系统，最大限度地保护已有投资，同时积极引入尝试DCB和FCoE等新技术，是上海交通大学遇到的首要挑战。在这种情况下，黄保青的小组还考虑到了在DCB上实现存储网络和数据网络的“两网融合”，简化数据中心网络架构，构建一个完善的跨校园多数据中心灾备系统。

日渐膨胀的数据存储对于上海交大来说也是一个令人头疼的问题。数据库、虚拟化平台、富媒体资源和电子图书，这些资源占用大量存储空间，仅上海交通大学的图书馆每年数据增长量就能达到几十个TB。同时，由于学校个IT部门之间相对比较独立，因此对于多租户也提出了一定的需求，既要给部门、学生和科研提供存储服务，又要做到互不干扰。

在了解到可能面对的挑战和明确需求之后，接下来就是规划如何建设校园云存储环境了，是采用开源还是商业方案?如何让架构做到横向扩展?黄保青介绍说，最初在存储选型的时候，他们希望支持统一存储系统，除了SAN之外IP存储是简化数据中心架构一个很好的选择。此外，同时支持多个存储协议也是构建云存储平台的完备基础。

在他看来，FCoE是未来数据中心发展的方向，可以节省很多在FC上的投资并减少所需的管理人员，所以需要存储系统能够支持原生 FCoE。同时利用存储分层技术，自动实现对热点数据的智能化分层;支持定制化的云计算环境和开源OpenStack等;架构的灵活扩展也是他非常看重的，既要能满足后续成长的需求，又要支持跨校园网在徐汇和闵行校区间的数据容灾。

在围绕上面几个关注点做了一系列长期调研之后，上海交大做了一套数据中心规划，在闵行总数据中心划分成四个区域，(如下图)前三个区域都是传统的校园网络应用，按照Web层、应用层和数据库层划分，其中数据库层上部署了FCoE交换机。云服务被单独划分成一个区域，因为现在很多新的数据中心应用都跑在这个层上，包括数据分析、创新应用和体验展示等。

在数据和存储网络的融合方面，上海交通大学数据库服务器区的思科Nexus 5550启用FCoE功能，部分接口配置8G FC SFP模块，Web和应用服务器区的服务器主要通过IP协议访问存储，SAN存储系统则选择了支持FCoE的NetApp FAS3270AE系统，因为NetApp FAS和服务器的万兆网卡接入Nexus交换机的万兆接口，在同一万兆端口上可以同时支持FCoE、iSCSI和NAS协议。

据黄保青介绍，NetApp FAS的FC接口接入现有FC交换机，为原有的FC SAN提供存储空间。考虑到各厂商的FC交换机具有极强的排它性，所以没有将原有的FC交换机与Nexus 5500互连。随着时间的推移，FC SAN设备将自然淘汰，数据中心将过渡到纯FCoE存储。

而且，新环境中常用的一些操作系统基本上都可以支持FCoE，例如现在使用的Windows Server 2008 R2、Linux CentOS 6.1以上版本和VMware vSphere 5.1 Software FCoE Adapter，所以在他看来，“FCoE的入门门槛已经降到很低了”。

黄保青表示，他们下一步的计划是支持SAN和NAS的统一集群存储，不仅如此，存储控制器、光纤和网络接口、存储数据卷全部虚拟化，万兆内部网络做到数据的无缝迁移，让徐汇校区和闵行校区之间通过IP校园网实现数据集群化架构和容灾，最终目标是“构建安全多租户的云存储”。

作为国内开源云联盟的发起单位之一，去年8月上海交通大学与英特尔、新浪和中标共同成立开源云联盟，当时学校基于OpenStack的平台有50多台高端服务器，100TB iSCSI存储、400TB对象存储以及全万兆以太网互连，计划在2013年上半年正式对外试运行，“我们将把这套平台运用于生产环境中，与云存储应用结合起来，给全校师生提供IaaS等服务”。

未经允许不得转载：DOIT » 拥抱开源！上海交大云存储经验谈