DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开
DOITAPP
DOIT数据智能产业媒体与服务平台
立即打开

300个高清摄像机的并发数据怎么存?

交通效率怎么提高,交通安全如何保障?这是摆在成都城市交通管理部门面前的重大挑战,特别是作为城市“主动脉”的骨架路网交通运行状况,更是在很大程度上影响着民生的各个方面。为了给城市骨架路网的运行提供充沛动力、助推智能交通系统,成都交通管理部门采用了浪潮软件定义存储AS13000存储系统,满足了智能交通系统大规模视频文件的存储和服务需求,实现交通管理决策科学化,为经济社会发展提供有力保障。

01成都市骨架路网产生海量视频监控数据

营造智能交通 从数据着手

由于智能交通在信息采集、交通管控、信息服务上满足了未来交通的发展需要,因此智能交通系统在各大城市都成为基础建设的重心之一。在2017交通运输工作会议上,交通运输部部长李小鹏在会上表示,2016年智慧交通蓬勃发展,而2017年交通运输工作的主要目标是将加快推进智慧交通和绿色交通发展,提高行业科技创新能力, 推进实现基础设施、载运工具等“可视、可测、可控”。

然而,在成都市智能交通管控系统建设中,视频监控子系统却切实感受到了数据增长带来的“切肤之痛”:该骨架路网布设了将近300个高清IP摄像机,每天都会产生3TB左右的数据(如高清监控图片,以及图片中车牌、位置等信息),且很多都是非结构化数据,目录和文件数量十分可观。这些数据不仅要用于实时分析,还必须长期保留以备后续查阅,需要的数据存储是PB级的。在改造之前,该骨架路网部署的传统存储系统文件检索采用的是“目录->子目录->文件->定位”的检索步骤,导致单张图片的检索常常要耗费十几秒的时间,严重影响了交通执法、取证的效率。

其次,城市骨架路网无时无刻不运行着大量车辆,视频监控系统也要7*24小时处于工作之中,其拥有交通流量分析、机动车违法信息采集、稽查布控、指挥调度等各种应用,存储着大量高价值数据,一旦因为存储系统故障导致这些数据丢失或是泄露,后果不堪设想。因此,成都市交通管理部门将数据存储系统的安全性与高可用性放在了重要的位置,要求视频监控系统不会因为系统故障而宕机,数据在意外情况下不丢失。

成都交通管理部门表示:“视频监控数据的存储以及应用一直是个大问题,我们在成熟骨架路网布设了大量摄像头,以实时感知交通的任何‘风吹草动’。但是,这些监控数据的增长速度远远超过我们系统的支撑能力。为此,我们决定与浪潮合作,采用分布式存储的方式来提供便捷扩容、自动均衡、跨节点数据冗余能力,全面提高视频监控的性能、安全性、可用性。”

02浪潮AS13000

浪潮AS13000为成都交通擦亮双眼

在分析成都交通管理部门的需求之后,浪潮立刻安排工程师与客户对需求进行沟通、调研,并最终提供了面向云计算、大数据存储的高性能集群架构产品AS13000存储系统。其配置一套AS13000分布式存储系统搭建起云存储平台,通过万兆iSCSI网络与前端监控平台连接,作为监控平台的视频存储资源池,为监控平台提供其所需的存储资源。同时,也可利旧原有磁盘阵列,利用前端监控平台的软件功能,将相关图片存储到浪潮AS13000分布式存储资源池当中。在浪潮AS13000部署之后,成都骨干路网的数据存储需求得到了有效满足。

03拓扑图

图片检索从十几秒到秒开的飞跃:对于成都市骨架路网的视频监控来说,在数据量这么大的情况下,要实现图片查询的“秒开”,提高读写性能、革新检索架构显然是最佳的选择。而浪潮AS13000分布式存储很好的承担了这个任务,其具备独特的高性能集群架构,可实现多节点的数据并发读写。在测试中,浪潮AS13000共计120个线程运行13.08小时,共写入556万个文件,完全满足每天500万个文件写入的性能要求。

此外,AS13000整体支持十亿级的文件数量,单目录可以有效支持千万级的文件数量,并拥有元数据服务集群技术,有效的解决海量数据检索效率较低的问题,满足了百亿级别文件的快速检索需求。在这些创新技术的加持下,该骨架路网的图片检索用时预计将从十几秒降低到3秒以下,交通监控图片取证的“秒开秒解”不再是梦想。

PB级的容量  历史监控数据不再“查无可证”:一旦存储容量即将耗尽,很多历史监控图片、视频就得删除,取证当然也就无法进行——这在过去是成都交通管理部门的心病。要解决这个问题,方法也很简单,就是增加存储容量,那么如何控制由此产生的成本压力呢?浪潮AS13000给出的答案是高扩展性,其在通过6个节点提供PB级存储容量的同时,最大支持480PB以上的存储容量,随着节点数量的增加,整体容量增加的同时还可显著的提升系统整体带宽,可满足视频监控系统未来的发展需求。同时,浪潮AS13000分布式存储系统大大提高了存储效率,通过虚拟化技术解决了存储空间的浪费,可以自动重新分配数据,这样一来,成都交通管理部门就可以节约大量的存储空间,成本也随之降低了。

发生意外之后 数据也不用担心:一旦系统宕机或者数据丢失,不仅视频监控系统无法工作,苦心存储的监控图片、视频也可能付诸东流、恢复起来更是费时费力,这已经成为系统维护人员最担心的事情之一。而浪潮AS13000分布式存储的安全性与可用性让他们放下了心头的“巨石”,AS13000采用了副本技术以及4+2的纠删冗余,即使在发生故障的时候,系统也可以持续提供服务,并能通过数据自动重构恢复出损坏的数据,恢复整系统的数据可靠性。此外,解决方案还拥有灵活的多数据副本机制、基于机架感知机制以及更强的容灾能力,能有效应对断电、断网、磁盘损坏、系统崩溃等单点故障,确保数据的安全与高可用性。

04多副本机制

 交通执法取证速度提升数倍

在改造之后,成都市对于浪潮AS13000的性能非常满意。成都交通管理部门指出:“浪潮AS13000突出的读写与检索性能让我们印象深刻,这可以帮助我们将交通执法取证的速度提升几倍,这对于提高交通执法效率、降低人员负荷意义突出。而且,浪潮AS13000在可用性、安全性等方面都达到了项目要求。在成都市骨架路网交通流量越来越高的今天,高性能的数据存储系统将帮我们高效的开展执法,提高交通保障能力。”

在浪潮AS13000的助力下,成都市正在朝构建集信息采集、交通管控、信息服务于一体的智能交通管控系统大步迈进,从而有效疏导交通、缓解城市交通压力,降低交通违法率和事故率,提高交通运行效率,提升交通管理控制与服务水平,实现交通管理决策科学化,为经济社会发展提供了有力保障。

未经允许不得转载:DOIT » 300个高清摄像机的并发数据怎么存?