DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

智慧视频时代如何应对存储挑战?

我们已经进入了AI加持的智慧视频时代,在智慧视频时代,存储内容发生了很大的变化,也带来了很大的挑战。

根据西部数据与 Security Sales & Integration 公司合作进行的第二次年度智慧视频调查,商业/科技/企业园区成为智慧视频解决方案集成商和架构师认为应用最多的基于人工智能的智慧视频场景,银行、金融机构、娱乐场所、政府设施紧随其后,也在积极部署基于人工智能的智慧视频应用。AI融入智慧视频系统,不但能够更加精准地识别目标,实现更高效的安保人员配置,在智慧零售的应用场景中,还能够通过视频分析,生成顾客行走路线的“热力图”,帮助零售企业更高效地摆放新产品或利润最高的产品。

对此,西部数据公司中国及亚太区销售副总裁Stefan Mandl表示:“当前,高清分辨率和人工智能技术的广泛应用,以及智慧家居、智慧城市、智慧交通等新兴场景在中国不断发展,而新一代智慧视频系统架构也对存储解决方案提出了更高的要求。”

西部数据公司中国及亚太区销售副总裁Stefan Mandl

例如,一方面,存储对象由最早单纯的原始视频变到了视频、图片、AI分析后的结构化、半结构化数据。对象的改变,使得存储系统要更多地考虑,如何更好地去适配多样化的存储对象?如何最高效地去存储各类型数据,并提供可靠的保护?海量小文件混合存储的时候,如何避免传统存储中的性能大打折扣?

另一方面,存储的写读模型也发生了大变化。原先的原始视频存入存储后基本不会被调阅,写读模型基本为10:1,但随着AI技术的出现彻底激活了这些数据,存入的视频可以被高性能分析服务器提取进行人脸分析、车型分析、结构化分析,写读模型也变成了1:1甚至1:N。在这样的写读模型下,对存储设备也提出了更高要求,存储不再是单单考虑如何存得更快、存得更多,而是要考虑如何与AI业务融合,达到最优结合。

如何应对这样的存储挑战?近日,电子创新网等媒体在2021深圳安博会期间采访了西部数据公司中国区智慧视频存储产品市场总监孙旭华,他结合西部数据最新的产品分享了西部数据如何应对智慧视频时代存储挑战。

西部数据公司中国区智慧视频存储产品市场总监孙旭华

“目前整个行业在向智能化和高清化发展。从架构来说,主要是端-边-云。端主要是摄像头产品,边主要有NVR和DVR设备,云主要是云中心存储。所以,我们的产品布局主要也是按照端-边-云的架构,包括WD Purple存储卡、WD Purple HDD和WD Purple Pro HDD。”他指出,“在智能化方面,WD Purple HDD增加了对AI流的支持。如今的智慧型摄像头在拍摄视频、产生视频元数据的同时,还会对视频进行分析,生成结构化数据(比如用于人脸识别的向量值)等AI流。”

AI流和普通视频流、主码流的差别主要在于数据尺寸比较小,对于HDD来讲是随机读写的数据。这样的数据对传统的HDD有很大挑战,因为它的随机性很大,所以如果没有创新技术的支持,目前的HDD很难去处理。

据他介绍,西部数据在WD Purple HDD里面增加了对AI流的支持,这里的创新主要是HDD内部的分区存储。在分区存储中,视频流和图片流主要是静态传统数据,而AI流则归类为AI专有数据。我们在HDD的物理位置做了分区,方便存储这些不同类型的数据。而HDD中内置了DDCM(数据动态配置管理)的功能,在使用过程中,HDD内部基于机器学习算法的引擎会对这些流进行细分,进行智能识别,把不同类型的数据分区储存到HDD的不同区域,从而达到提升系统级别能力,适应智能化发展的需求。

西部数据WD Purple HDD系列产品

在高清化方面,WD Purple HDD可以支持最多64路输入、4K高清并发的存储。在功耗方面,WD Purple HDD也实现了很大的降低,现在最多可以比上一代产品降低25%的功耗,这是很大的成绩,其中包含了许多技术、算法上的创新,还有HDD容量密度上的创新。以前的HDD单碟只有1.67TB的容量,但是现在WD Purple HDD单碟达到了2TB的容量,同等容量下只需要更少的磁碟数,因此可以降低功耗。

值得一提的是,前端NVR、DVR的生态都是封闭的,每家厂商都会开发自己的文件系统,导致摄像头数据通过不同厂商的系统传输到HDD时,负载模型会产生差异,识别它们对于任何一家存储厂商都是非常大的挑战。为此,西部数据加入了学习算法,即使负载流非常复杂,一样可以进行智能识别,将数据流、AI流、元数据等区分开来,分区存储到西部数据的HDD中,这样可以保证性能,满足智能化的要求。

“具体来说,西部数据的HDD内部有一些缓冲,可以通过智能Cache算法对数据进行识别,识别完之后再通过分区存储,最大程度地优化西部数据HDD内部寻轨的效率,增大内部通路带宽。分区存储在智慧视频领域的应用,我们是首创。”他强调,“我们的DDCM现在有一个新的功能,开放给所有的NVR/DVR厂商,允许他们指定哪些数据可以存到哪些分区里面。”

不过,分区存储的物理层是固定下来的,没法进行自定义,但是用户可以自定义将什么样的数据存到里面。西部数据拥有约1%特殊配置的空间专门用于存AI的数据流,在保障AI流存储性能的同时保障AI流数据的存储安全。如果一些厂商对AI数据的需求比较大,则可以用西部数据的WD Purple Pro HDD系列。

WD Purple Pro系列揭秘

据孙旭华介绍,西部数据的WD Purple™ Pro HDD专为新一代支持 AI 的高端录像机、视频分析设备、深度学习服务器和云解决方案而设计,是具有高性能和额外工作负载能力的大容量存储设备。WD Purple Pro主要用于比较高端的NVR,后端的数据分析服务器、视频分析服务器,高性能的机器学习服务器、以及集中存储。

西部数据WD Purple Pro HDD系列产品

WD Purple Pro HDD采用 AllFrame™ AI 技术,有助于减少丢帧、改善整体视频回放,不仅支持每个摄像头录制多达64个数据流,还支持每台HDD使用多达 32 个 AI 数据流来进行系统内深度学习分析。  WD Purple Pro HDD还具有企业级性能、数据完整性和可靠性。

WD Purple Pro HDD和企业级HDD的标准一样,提供五年质保,高达250万MTBF可靠性指标。WD Purple Pro系列的容量点是8TB到18TB,有8TB、10TB、12TB、14TB,18TB是最高容量。

对于一些轻智能应用,则可以选择支持AI流的WD Purple HDD。“其应用场景是电动车进电梯的时候,可以自动检测出来,可以知道是不是电动车,像这样的数据就是AI流。这些AI流可以直接存到我们的HDD里面。”他举例说,“我们的产品在智能商超也很常用,可以支持防盗、商品管理等需要有大量的AI流的场景,而我们的HDD可以很好做到存储和AI流方面的管理。”

目前,在很多的智慧场景里面已经使用了西部数据的产品。西部数据公司大中华区渠道业务董事总经理杨俊文表示:“中国市场一直以来都深受西部数据的重视,我们也深刻了解智慧视频市场在存储方面的挑战与用户的多样化需求。我们在智慧视频领域持续创新,积极拓宽旗下产品,凭借专业的WD Purple与WD Purple Pro系列存储产品为客户提供理想的智慧视频存储解决方案。此外,我们广泛开拓渠道,携手行业伙伴进行深度合作,并融合多方专业经验,针对中国本土市场积极布局并优化产品组合,满足用户对于智慧视频数据存储的未尽需求。”

西部数据公司大中华区渠道业务董事总经理杨俊文

智慧消防领域的前端有很多的传感器。因为传感器都是小数据量,所以小数据量的传感器出来都是AI流。在消防的场景下面,这种AI流特别多。传统的轻智能没办法应付这样的场景。

“WD Purple Pro性能特别高,加上我们AllFrame AI的技术,可以处理这种场景。”孙旭华解释说,“智能交通因为需要做到实时交通方面的管理,前端摄像头就会产生大量的AI数据,AI数据特别多的话就需要存到WD Purple Pro HDD里面。从架构来说,端跟中心中间有连接,就不需要NVR、DVR了。通过近距离连接的话,数据传到中心的服务器,中心服务器用我们WD Purple Pro HDD,可以处理大量需要高性能的负载,包括AI的负载。”

除了HDD产品,西部数据还有WD Purple SC QD101 microSD存储卡, 主要是用于终端的摄像头。由于使用场景主要是在户外,需要耐高低温和耐高湿,也需要较高的可靠性。同时,因为摄像头装在比较高的位置,维护也比较麻烦,所以必须有基于存储卡的健康管理系统,通过手机就知道存储卡有没有工作,什么时候需要替换等问题。

目前西部数据的存储卡达到了1TB容量点,主要是为了满足高清和超高清的视频要求。该存储卡里面利用了西部数据3D TLC 的技术,基于其成熟的96层NAND,可靠性很高。

适用于智慧摄像头的西部数据WD Purple SC QD101 microSD存储卡

最后,孙旭华特别强调了在健康管理方面,西部数据有一个新的WDDA(Western Digital Device Analytics)部门,主要瞄准的痛点是NVR/DVR设备。由于这些设备基本上都是24小时无人监控运行,当故障发生时,用户很难确定具体故障时间和故障组件,只能打电话寻求专业维修建议。西部数据的WDDA软件可以针对NVR/DVR设备中的每一块HDD进行监测。此外,西部数据提供了18个参数功能,可以全方位、多维度地了解HDD的状态,让运维者知道HDD是否真正损坏了,还是其他的部件坏了,还是HDD内部其他什么问题?这对于用户的价值很大,能够节省很多成本。

未经允许不得转载:DOIT » 智慧视频时代如何应对存储挑战?