DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

谢长生教授:新一代巨量冷数据存储技术进展与展望

“我们今天第一次想宣布一个新开发的技术。”

2023中国数据与存储峰会上,华中科技大学武汉光电国家研究中心教授,中国计算机行业协会信息存储与安全专委会会长 谢长生教授在演讲中这样开场,分享冷数据新存储技术的发展进程。

早在30年前,我们就开始使用“海量数据”这一术语,现在,应该叫“巨量数据”。据2018年IDC发布预测报告称,2025年全球数据量将达到175ZB。然而,今年IDC的最新预测已经将数据量上调至188ZB,再过两年其增量会增加100ZB,未来它的预测还会调高。

这些数据从哪里来?有这样几个来源,以前讲物理空间,信息空间,今天给大家讲的是三域空间加一个思维空间。

第一个空间是从物理空间中,现实客观存在,我们把它用各种方法用照相语音文字变成信息空间,现在把信息空间这些视频照片文字都转成数据。第二个空间是思维空间。现在我把第一个从物理空间的数据,叫做物生数,从物理空间影射而来,思维空间叫做人生数,就是从思维空间影射而来,我们这里的数据基本上是这两个空间产生的。

而2023年,是信息革命历程中一个值得纪念的时间节点,这个数据可以由机器自己产生,是AIGC的应用元年,AGI(通用人工智能)将在2030年前实现,它有了自主意识,产生的数据既不是从物理空间来,也不是从人这来,它自己还会产生一些新数据,我叫做机生数,我们的数据会越来越多。

我们以微信朋友圈为例,每天会上传12亿张以上的图片,第一天假如平均每张图片有10次点击10次点赞就是百亿访问量,需要极高的访问是热数据,一周以后访问频率极低,冷数据就是访问频次很低的数据,但后者占数据的80%,热数据只占20%。

冷数据面临成本+能耗+寿命挑战

那么冷数据面临哪些挑战?冷数据既是大数据,也是长数据。冷数据需要保存的数量很大,保存时间又很长,因此,面临成本,能耗还有长寿命的挑战。

先来看看冷数据目前的两个存储主角。IDC报告显示,到2025年我们有50%的数据还保存在硬盘上。出于时间成本考虑,SSD等闪存介质不适合保存冷数据,因此保存冷数据的磁带现在有复兴趋势,百度公司就是采用磁带,使其成本降低了一倍。

如果我们全用硬盘存冷数据,成本是100%,如果采用40%的硬盘和60%的磁带,成本会降低40%,全用磁带则会降低77%。

这两个主角如果按75年的总体应用成本对比相差太大,因为硬盘寿命只有5年,每隔5年要把数据迁移到另外的硬盘上,要换15次,硬盘堆在一起又容易产生热量产生故障盘,还要冷却它,又需要制冷的能量。

一个数据中心有上百万块硬盘,我们换15次,换15个几百万块硬盘,再提供一个合适的环境,才能保存75年,磁带寿命10年,光盘长一些,光盘是目前寿命最长的,但光盘容量比较小。

目前,光存储是更好的选择,而寿命是重要问题之一,现在硬盘5年,固态盘5年,磁带10年光盘可以到50年,新AD光盘有100年寿命,但玻璃可以进行永久存储。

长寿命的存储,本质上都是光存储,我们把信息刻在石头上,其实和我们刻在光盘上的原理没有太大区别,只要把反射的介质做的足够长,信息就可以长久保存。

当前光存储产品进程方面,大家印象中的光盘还是蓝光,现在这个单张50G的蓝光容量已经变成500GB,比如华录公司单张光盘最大容量就是500GB。12张光盘装在一个盒子里面和一盘磁带体积差不多。

这里的技术更新包括,AD技术减少了蓝光光盘的道间距和位间距,将点变得深浅不同。还有一个技术是多层,几个技术加起来可以做到单盘2T容量,比现在又提高4倍。

现在国家已经安排一个重点研发计划,目前的国际最高水平是500G,中国研发计划是每1个盘1TB,这是由华录、华为、华中科技大学、上海理工大学、清华大学等一起做的技术,目标是三年后量产,而且可以告诉大家这个是完全可以做到的。

光存储原理突破未来三种变革性技术

蓝光之后的下一代技术,我们有三个,现在都正在做,国家都安排了计划。第一个是全息光存储,容量可以做到单盘容量2-8TB,好处是比现在的光盘更快,不像光盘一次读一个点,它一次就读一幅图。

第二个技术是突破光学衍射极限的双光束超分辨技术,这是武汉光电国家研究中心的一个结果,相当于把一个点超越光学的衍射极限,这样它的容量就可以很大,理论上单张光盘可存容量接近1PB。

第三个技术是玻璃多维永久存储。最早,是日立公司在玻璃上,类似于做激光微调技术,在玻璃上打点。但2009年以后,一直没有继续做,理由是打点以后闪射很大,几层就把光闪射没了,容量上不去。

但2003年有一篇文章指出,飞秒激光可以在石英玻璃上形成一个纳米光栅,一个很重要的特点是透光性好,99%都可以透下去,这样就可以做很多层,但由于这些人是物理学家,文章发表后,不知用在哪里。

一篇文章虽然发表十几年,但鲜有实际应用。直到2014年,这篇文章吸引了张静宇博士的注意。张博士是华中科技大学的优秀毕业生,曾参与国内的光存储项目,他在海外读博期间看到了这篇文章,并研发出了玻璃存储技术,成为该技术的第一发明人,当时还设计了相应的读写装置。

蓝光光盘只有50G,玻璃存储的单盘容量理论上可以做到360TB。张博士的这一突破性成果在国际上产生了巨大影响,该技术还被吉尼斯纪录认证为最长使用寿命的光存储技术。

微软玻璃存储的产业化进程。之后这项技术被微软看中,进行了产业化。微软CEO亲自讲解了玻璃存储技术,现在微软已经把一部电影存进去了,之后马斯克也刻了一张光盘带到太空中,说可以遨游太空10亿年,万一哪天碰到外星人,发现这张光盘就可以读到我们人类的信息。

先来看微软的一些进展。这是写玻璃的过程,用激光在玻璃上扫描,一层层的扫,这就是写过程。然后是一层层的往上写,微软现在写到100多层。

微软现在把玻璃碟片做成一个大型的光盘库,可以扩展。2022年还是视频演示,2023年已经公布了一个实物,工程化进展极快,他们做了一个很炫的光盘库,可扩展性很好,一个小机械手可以优化调度,把数据用最短时间写到装置上去,这就是微软用张静宇博士的发明做出的成果。

张博士回国以后,觉得其实还有两个问题没有解决。一个是写入比较慢。另一个写多层的时候闪射率和透射率还不够高。所以针对这两个问题,张博士进行了更深入的原理性和机理性的研究,包括光与物质的相互作用,各种模型,最后把两个问题解决了,并发表了一系列文章。

它可以写单根的线,光通过率更高,而且密度可以做到更大,可以做更多层,目前已经实现了400层的写入,微软只有100多层,而且一个脉冲就可以写一个结构,以前要十几个脉冲,甚至二十个脉冲才能写一个结构,因此速度问题和容量问题进一步得到了解决,可以开始国内的产业化之路。和微软那个方法对比,我们现在还采用转动的方法,进一步降低了成本。

最后——光存储产业化行进中

巨量冷数据对现有的存储系统提出了严峻的挑战,我们认为冷数据的未来希望在光,就是希望之光,因为光的维度还没有充分利用,还有巨大的潜力,我们现在已经是五维,还可以做到六维甚至十维。

还有光的衍射极限已经被突破了,而光的介质寿命决定了它的保存寿命。玻璃存储就可以实现永久存储,所以这个技术我们对它非常的有信心,现在想推动它的产业化,研究工作基本上做完了。感谢张静宇博士提供的资料,还有曹强教授,姚杰教授,吴非教授,甘棕松教授对我的演讲提供了巨大的帮助,谢谢。

以上内容根据现场速记整理,未经演讲人审核,如有问题欢迎指出。

未经允许不得转载:DOIT » 谢长生教授:新一代巨量冷数据存储技术进展与展望