OStorage（奥思数据）李明宇：对象存储助力企业应对未来的数据存储挑战

12月9日，以“新存储、新常态、新应用”为主题的2016中国存储峰会在北京悠唐皇冠假日酒店举行。

在当天下午举行的“软件定义技术”分论坛上，企事录联合创始人张广彬(狒哥)、紫光西部数据产品及解决方案副总裁胡晓雷、联想资深超融合业务拓展经理郭立、红帽软件资深架构师张家驹、XSKY产品总监张旭明、ZETTAKIT（泽塔云）技术副总裁（创始合伙人）黄扬、杉岩解决方案总监游长繁、OStorage（奥思数据）创始人&CTO李明宇等嘉宾分别发表演讲。

以下内容根据OStorage（奥思数据）创始人&CTO李明宇“新存储，赢未来：对象存储助力企业应对未来的数据存储挑战”的主题演讲内容全文。

OStorage（奥思数据）创始人&CTO李明宇。

感谢坚持到现在的各位，现在比较晚了，还要感谢前面的嘉宾，比方说同样是来自深圳的杉岩在时间上把控的非常好，我参加过很多会，下午五点钟开始的议题能够按时开始的很少。

今天我带来这个分享的题目正好和大会的题目吻合，“新存储，赢未来”是我们公司的slogon，今天这个存储峰会主题也是说的“新存储，新常态，新应用”，说明现在确实处于一个变革的阶段，变革的时期，大家都在强调新，而且这种变革的速度只会越来越快，就像刚才说的“吓尿指数”，越来越短。而我们说的“赢未来”的含义是帮助我们的合作伙伴、帮助我们的客户赢未来。

这里谈到对象存储，今天很多嘉宾包括上午的主会场还有下午的分会场，不断有嘉宾讲到对象存储，说对象存储是未来，说明大家都看到对象存储的趋势，那现在我们就专门把对象存储作为一个主题来谈一谈，我们公司叫OStorage，大家记住英文名字就可以了，当然能知道中文名字“奥思数据”更好，OStorage其实就是对象存储Object Storage的缩写，我们公司相信将来每一个机构、每一个企业都需要对象存储。

今天第一位嘉宾狒哥说到IDC一些预测，我们这张图也是IDC预测，从2013年4.4ZB增长到2020年44ZB，我相信到PB这个量级大家已经很熟悉了，44个ZB也就是说44兆PB是将来全球数据量。而其中90%的数据量增长来自于非结构化数据，我相信在座都是搞存储，所以也不需要特别花时间讲什么是非结构化数据了，实际生产生活中产生的很多数据都，例如说文档、照片、视频、医疗影像，基因测序数据，摇杆数据、科学观测数据等等都是非结构化数据。如果只是数据量增长还不足以推动对象存储它的这个变革，还不足以达到说将来每一个公司每一个机构每一个企业每一个政府部门都需要对象存储，现在是随着数据量增长，同时伴随另外一种挑战，就是数据管理、数据访问、数据使用方式的变化，例如整合多数据中心资源、突破地域限制分布数据、对海量数据支持高并发和高可用的访问、安全的数据共享、支持虚拟化和Docker等新的IT技术……这些是新的需求，在这种情况下，伴随着数据量增长，传统NAS就捉襟见肘了，人们就需要转向对象存储。

所以后面是举了一些例子，比如金融领域现在随着远程办卡、票据电子化、互联网金融等新业务的开展，产生越来越多的图片、影像、音频等数据，而且金融客户都要求跨数据中心多活、双活等，再比如交通、安防，仅北京市的交通探头一天的视频数据就达到了PB级，一个商业地产公司每天要存储和管理来自一个地域内分布在不同城市的停车场的图片、视频数据，比如万达在珠三角区域的几十个商场，数据量大而且要分布存储、统一管理，这些视频和图片存储是分布在各个城市或者同一城市相距数十公里的多个地方、但是管理要统一。传统文件系统设计上一个方面是层层嵌套的目录树，另外一方面对随机写特别重视POSIX文件系统接口，这两方面原因导致系统的Scalability（可扩展性）没有办法做到特别好，对数据远程分布和共享访问支持不能够支持的特别好。

所以我们就想办法，怎么解决上面的问题，首先把命名空间扁平化，然后另外提供更简洁的数据读写接口，一方面便于实现刚才我们说的可扩展性，另外一方面实际上让编程变得更加容易，那现在当我们思考这个问题反过来想难道以前这个人就故意设计出来这样的复杂的编程接口吗，传统文件系统接口的目的是什么，传统文件系统中这两个比较根本的设计源于上个世纪六七十年代，是满足那时候的需求的，所以他们并不是做得不好，其实在满足当年的那些需求上，他们已经做得太好了，只是现在时代变了，需求变了。

而现在我们谈论的数据量增长、并发访问、跨数据中心分布等需求在企业级对象存储系统诞生之前，在淘宝、Facebook、Amazon等互联网公司就已经遇到了，他们提出了一些诸如TFS、HeyStack等解决方案，这些方案中都有两个突出的特点就是我们前面提到的命名空间扁平化，和更简洁的数据读写接口。今天人们基于这两个特点，开发出了为企业级用户提供的对象存储系统，有些场合也把它称之为“类S3存储”，这里的S3指的就是AWS S3对象存储服务，国内有阿里云的OSS对象存储服务等。我们做的OStorage-EOS就是企业级对象存储系统。

这些存储系统首先把数据存在buckets或者containers，而不是复杂的目录树，命名空间扁平化，并且相比一些互联网公司的方案，更进了一步，对大对象的支持，这是符合企业市场的需求的，OStorage-EOS可以以比较高的吞吐率读写单体GB级、最高达单个对象数百GB的数据；另外，更简洁的数据读写接口，也更进了一步，不仅仅是简洁读写接口，而且是服务化的接口，基于HTTP的RESTful接口，方便广域网上的访问。

我们的产品OStorage-EOS企业级对象存储系统，是基于开源软件叫Swift打造的，中午吃饭听到讨论开源事情，现在用户选择时候到底选开源软件还是选商用软件，如果真是对企业级用户来说，我觉得他肯定需要有一个靠谱的商用软件，但是这里面包含开源是很正常的，我经常举例子是苹果，所有苹果的设备的操作系统，iOS、Mac OS X，我想没有人质疑是高质量的商用产品，但是它们的核心，没有任何一个例外，都是基于Darwin内核的，一个开源操作系统内核，而我们公司定位就是基于开源软件来打造一个商用产品，Swift在我们里面相当于Darwin操作系统，我们打造的OStorage-EOS相当于苹果iOS系统，我们跟一些合作伙伴打造软硬一体化解决方案，所以我们既可以提供纯软件解决方案，如果软硬一体化解决方案我们希望它能够像苹果的手机和电脑一样，那我们的理念这儿说的有点大，不过确实能类比一下，对象存储有这个趋势它非常的简洁，简洁的命名空间、简洁的API，提供很好的用户体验，但是并不代表系统简单，就像苹果手机一样，面板上只有一个按纽，非常简洁，用户体验非常好，但并不代表系统简单，我们是做了很多工作来达到这个目标。

而我们为什么选择Swift，现实应用百PB级部署案例，比较稳定，我个人在前几年在中科院的时候就将Swift应用到了军方一些系统里，运行的非常稳定，加上近些年充分的测试与生产实践，我们有足够的信心。另外我们是软件定义的存储，我们基于传统的通用的服务器和网络硬件构存储系统，以较低的成本构建大规模存储系统。另外我们架构是全分布式的，无集中节点，任何一个节点的故障都不会影响到整个系统可靠性和可用性。我们系统可以近乎无限的扩展性能随规模提升，实际现在通常遇到的是网络硬件瓶颈，访问存储的入口带宽不足，只有万兆或者两万兆，限制了性能的提升，如果客户的网络条件还可以进一步提升，整个存储系统性能也能随之提升。

另外，我们对纠删码研究比较多了，可以很可靠地应用于生产环境，比传统分布式存储的三副本技术进一步节约硬件投资50%以上，特别像视频存储这样的场景，节约的成本非常可观。另外我们支持跨地域部署，比方说一个高校有多个校区，一些地方在建的区域医疗影像中心有多个医院和数据中心，还有像比方说有的机构可能有在比方说深圳那边有总部，在香港有分支，在美国海外还有分支机构，这样就可以用我们存储系统搭建一套跨地域的存储集群。另外我们提供安全增强，比方说数据加密、多因子认证等，这些是通过企业级插件来实现的，还有其他一些插件，例如兼容传统文件接口，而且我们全面兼容阿里云OSS，这应该说世界独一份，我们可以全面兼容阿里云OSS这样可以给用户带来更多选择，比如构建混合云存储，一些对加密有要求的数据用我们的数据加密插件来对数据进行加密存在本地部署的OStorage-EOS中，另外一些数据可以放到阿里云OSS上。

这是系统架构，在这里面Swift是Kernel的地位，前面针对企业用户需求打造很多插件，架构图这样话貌似我们的工作都在Swift外面，实际上在所有的各个服务里面我们其实也做了我们一些模块在里面，比方说跨地域多活，用户经常问到跨地域复制，当我数据中心之间的网络不稳定，断了后来又连上了，那断的这段时间内，到底哪些数据没有复制到远程数据中心，后来网络恢复了，数据异步同步过去，到什么时候我知道前面的数据都同步完了？这些问题Swift不会回答你，我们的OStorge-EOS能回答。这只是一个小例子，其他我们做了大量研发工作来把它做成一个企业级产品。

下面把我们产品的三个比较重要的features展开说一下，一个就是跨地域，这里边data1三副本分布在这三个地方，一个数据中心的三个节点，大家看到data2、data3三个副本有两个分布在主数据中心另外一个分布在异地数据中心，这说明我们除了在跨地域做数据分布以外还可以控制到底哪些数据只放在一个数据中心，哪些要跨数据中心分布，这张图是两个数据中心，如果是多个，我们还可以控制说哪些数据分布在哪几个指定的数据中心里。实际上我们还可以控制写入的优先级，如果这边有写请求，希望所有数据确保在主数据中心很稳定写下来，可以让写请求发到这边，读的时候优先取这边数据副本，可以做读写上的优化。

这是另外一个示意图，这两边其实是一个整体存储集群，把一个存储集群划成两个Region，每个数据中心对应一个Region，中间通过跨数据网络来联通。

这个图曲线现实的是我们在客户那儿看到一个现象，那么从这个时间点开始某一个数据中心里面的节点开始出现故障并且逐渐所有存储节点都不可用，然后我们可以看到下面数据读写成功率，所有数据访问成功率全部是100%，然后中间大家可以看到性能有衰减，不可能没有衰减，有一半节点都已经没了。后来到这个时间点，实际上就是那个时间点故障修复了，性能又回来了，中间有些波动新写出来数据后台同步会占用一些资源，所以性能不可能一下恢复到故障前的稳定性能。

前面是我们同城双中心部署的，还有异地的更远400公里，这个结果发表在今年4月份美国OpenStack峰会上，我们当时在IRC讨论组里面有个老外提出想听人讲讲这个问题，我们就提了一个proposal去讲了一下，这个柱状图都是访问延迟，绿色是优化之后，蓝色是优化之前的，经过优化以后写性能得到成倍提升，那么对于读性能来说优化的更加明显，可以达到一个数量级甚至两个数量级的提升，这个是我们在这种跨地域的存储集群做的一些工作。

另外对跨地域来说，有客户给我们提，我们现在是两地三中心，将来扩展到三地六中心去做有没有方案，答案是肯定的，可以跨全国多个城市多数据中心做分布式存储，全国范围内我们已经做到了，目前我们还没有全球范围实践，我们也很期待合作伙伴和客户会给我们带来跨全球多个数据中心实践的机会。

另外就是纠删码，把一个对象切成四个数据分片，编码生成两个校验片，最多可容忍任意两个设备故障，普通硬件加上纠删码技术，对于节省用户存储成本来说非常可观。这里要提一下，现在很多存储系统都在说要支持跨数据中心、支持纠删码，这些要看它是不是真的支持在生产系统里面用，要看他对这些技术到底做了多少研究，我们在前几年在中科院的时候，就能够把一个Hadoop集群在不停机的情况下，从一个数据中心热迁移到另一个数据中心，这中间是有很多讲究的，还有我们在2013年的时候就在研究说如何结合纠删码和信源编码进一步降低存储成本，所以这些都是我们玩得很透的东西了，做了充分的准备，才让我们客户去使用，绝对不是说看有人在做，立即也抓紧做，做完抓紧给客户推，我们做存储，靠谱最重要，用户的数据绝对不能丢。

第三个要介绍的feature就是兼容传统文件系统，OStorge提供将对象存储空间作为一个盘挂载到Windows和Mac上，就相当于是可扩展性很好的容量很大的一块U盘，Linux服务端的传统文件系统兼容我们也在做，还没有ready，现在还没有对外推，这个支持Windows和Mac的是ready的，可以放心去用，我们自己也在用。

对象存储是面向未来，也是像很多友商说到未来是对象存储的时代，我们今年主要是做OStorage-EOS产品，明年除了在纠删码和跨地域这个领域我们会继续做一些更深入工作以外，还会增加让存储更加智能的一些东西，比方说数据预处理、对信息鉴别防止非法信息到我们的存储系统里面去，例如提供公共服务，防止客户上传淫秽图片进来，私有云存储中，防止用户把秘密文件放到了不该放的位置，还有对视频做一些预处理，如人脸识别，对象存储跟其他存储比为什么说面向未来，不单单把数据存下来就完了，这个我特别赞同前面演讲嘉宾紫光西部数据胡总说的观点，就说这个存储不是底下这一层简单给用户完了，面对新的需求怎么样丰富产品是我们要考虑的问题。

再有比方说跟Hadoop和Spark集成，支持大数据分析；支持搜索，我们现在想在海量对象里面把我需要数据检索出来怎样做，我看前一段时间AWS一个产品Athena就是干这个事情，AWS的Athena就是为S3提供数据搜索服务的，我们也做了有一段时间了，“所见略同”，我们明年将正式推出这个功能。

最后我想用这张图结束今天的分享，这个是跟前面数据量增长44ZB是同一个报告里面的，IDC把整个世界的数据市场分为两块，一块成熟市场一块新兴市场，预测2017年，以中国俄罗斯印度等等这样一些市场为代表的新兴市场将超过以美国欧洲为代表的成熟市场，所以今天我们确实处在一个非常好的大环境里，“新存储，赢未来”，帮助我们客户赢得未来的挑战，以国际一流的技术水准服务中国客户，这就是我们公司OStorage。

这个是我们公司的二维码，如果大家感兴趣可以扫一下，我们会把一些技术东西在里面做一些分享，有些问题大家直接在公众微信号留言我们也会回答，谢谢大家。

编注：中国存储峰会是每年一度、亚洲最具规模的存储产业年度大会，历时十二载，记录了存储产业的诸多变化。每年的存储峰会都吸引学术界、产业界和最终用户代表的积极参与。存储峰会对中国存储行业的发展做出了许多重大贡献。云计算、大数据对传统IT产业带来了许多变化，为IT系统提出了新的要求，存储作为IT系统中极为重要的一环也在迎接新的挑战，正在举行的2016中国存储峰紧抓热门需求，从技术、产业、产品角度，汇集了资深行业人士，呈现年度最权威的存储盛会。

未经允许不得转载：DOIT » OStorage（奥思数据）李明宇：对象存储助力企业应对未来的数据存储挑战