DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

华中科技大学冯丹:存储系统发展趋势

feng1

由中国计算机学会信息存储技术专业委员会、中国教育部信息存储系统重点实验室和DOIT、存储在线共同举办的2016中国闪存峰会在京召开,主题为“关键之年,让闪存绽放”,来自产业界的众多嘉宾围绕闪存技术本身将如何演变与发展,以及闪存竞争的其它存储芯片技术,存储系统将会怎样发展这些热点问题进行了精彩的分享。

华中科技大学计算机学院副院长冯丹讲述了存储系统发展趋势,以下为整理内容:

存储需求以腾讯互联网公司为例,它对存储的需求日上传图片数量达到10亿张,社交游戏的访问密度达到每秒一百万次的速度,肯定第一步就离不开闪存的支持,高性能、低功耗、低延迟都需要闪存的支持。但是另一方面容量的增长趋势非常快,每年都增长到150PB以上,完全靠闪存也不可能。存储系统的变迁由此而来,即从单机到现在以闪存为代表的SSD再加上分布式的存储系统,以对象为代表的发展趋势。

存储系统有专用的,谷歌、腾讯、Facebook自己开发的分布式的存储系统,主要的特点都是大量的存储节点通过网络互联,有原数据服务器提供给客户端进行访问。我们刚才一直在说存储期间,包括PCM、RRAM等等,这些器件的出现为存储系统的架构带来了新的机遇。

2011年全球有40多家企业和高校以及研究院所有EIOW计划,主要的观点是在构建EB级存储系统要关注闪存等新存储介质。美国劳伦斯实验室,它们以实际的应用证明这一点,数据中心传统有320个节点,利用闪存减少到了80个节点,机架数24个减少到2个。

首先是节点面向闪存的优化。闪存虽然具有高性能,低功耗特点,但它也有缺点——读写不对称。以及寿命逐渐减少的情况下,如何避免对闪存的多次擦写,还有通过快照和克隆提高其可靠性,删重来减少数据量,减少写入次数,这些都是需要优化的点。

软件也有可能成为瓶颈,最上层一直到最底层我们访问软件的路径上,因为传统的软件针对硬盘的,硬盘毫秒级的访问延迟,所以软件只占百分之零点几。访问延迟达到了微秒甚至纳秒的时候,软件占已经达到了90%以上,软件成为瓶颈。因此现在的软件设计都是针对传统介质,还有事务顺序性引起的串行化,来进一步面向闪存进行优化。

冯丹表示,“分布式的文件系统性能是随着核的增加,性能基本上是不能增加的。理想的状态应该是线性的增加,所以他们采用这样的方法,采用域的办法来并行,可以提高一定的性能。”

其次是新体系结构的变革,学界和产业界都在做一些新的探索,产业界,微软和英特尔提出了BPFS、PMFS,清华大学也在探索,用它做内存,或是跟DRAM做混合内存,很多的公司也是在探索怎么做NVDIMM。

最后是新技术的融合发展,第一种——利用FPGA做PCM和闪存控制器。闪存可以充当SSD使用,PCM充当扩展内存使用。但如果真正运行,软件需重新设计,让它能直接访问NVRAM,用户能够绕开很多软件层直接访问,达到了提高性能的目的。另一种,通过接口访问文件系统,然后调用存储, NVMFS截获密令重构以便兼容,如此层更少,性能可以更高。

未经允许不得转载:DOIT » 华中科技大学冯丹:存储系统发展趋势