众志和达构建监控数据分布集中存储平台

江苏公安“320项目”是由江苏省公安厅2009年提议建立的视频监控项目,该项目计划在江苏全省范围内打造一个道路监控网,全省各地市内道路每3公里建立一个对车辆监控的抓拍点,其它外面的道路要每20公里建立一个监控抓拍点。依托于江苏省统一的技术标准规范,通过新建、改造一批道路监控系统,实现各监控前端采集的信息逐级向上汇集,建立省、市、县三级图像资源库和道路监控综合应用系统。

按照全省公安机关信息化建设总体规划,针对社会各类道路监控与其它公安信息通信系统进行关联整合,组织形成一体化的综合信息应用体系,促进现有各类图像资源的汇总管理、控制切换和共享使用,实现对重点车辆的自动查比和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标,为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。简而言之江苏公安“320项目”主要负责对车辆交通监管信息的采集,刻画每一辆车的行驶轨迹,然后把所有动态车辆的信息收拢起来,为公安业务提供有关车辆信息方面的应用。

海量视频数据激增面临着读取性能降低、存储数据丢失的挑战

依据省公安厅的要求,江苏盐都“320项目”总体的建设思路,是要建成“一个平台、两张网络、三道防线”为核心的视频监控平台。

一个平台是指建立起全区公安监控大平台,构建一体化的道路监控网。

两张网络分别是指首先设立在城市和县城道路上的监控网,主要是管理区内公路收费站、重点路段特殊地点的监控,抓拍交通违法和车辆动态。其次是设在治安卡口、省道和高速公路重点路段的监控网,主要是抓拍交通违法,刻画车辆行驶轨迹,对重点车辆实行拦截布控。

三道防线分别包括第一道区和所辖县城出入口的警务查报站;第二道区和所辖县城治安卡开口监控点;第三道区和所辖县城治安卡口的监控系统。

长期以来,海量视频监控存储架构基本上采用基于SAN或者IP-SAN的集中存储式架构,配置单台或者多台海量存储系统,容量达到数百甚至上千TB的SATA磁盘。

数据集中带来了管理和维护成本的增加,由于存储的数据过于集中,容量过大,对于历史视频/图像数据的调用查看的读取性能明显降低;并且一旦存储系统本身出现问题(包括来自控制器和RAID的故障),将影响整体的数据安全和视频监控平台的稳定运行;大量的磁盘、电源、CPU等设备7×24小时运转造成了高耗电量,同时数据集中使得系统管理员工作量增加,以上问题都是江苏盐都“320项目”所面临的挑战。

众志和达为盐都“320项目”提供了分布式存储、集中式存储解决方案

众志和达(SOUL)作为中国信息存储与数据安全领域领先的技术与服务提供商,针对江苏盐都“320项目”存储系统,将视频监控数据划分为静态图像 和视频数据两种类型,并推荐客户按照数据类型分别采用不同的存储架构,静态图像采用先进的分布式存储架构,视频数据采用传统的集中式存储架构。

一、监控图像系统部分—分布式存储架构

1.1监控前端:每10个静态图像摄像头组成一个节点的前端数据源。

1.2存储系统:前端10个静态图像摄像头的数据传输到存储处理节点SureSave UA2208设备中,控制器端安装监控软件,通过监控软件将图像数据存储在SureSave UA2208的硬盘介质中。

总计容量:由60个图像处理节点(每10个静态图像摄像头+1台SureSave A2208)存储监控图像组成分布式存储系统,每个图像处理节点处理不同的10个图像摄像头的数据,总可用容量660TB。分布式存储架构将海量的图像数据分散到多个独立的系统中,提高了图像数据的存储性能和查询效率,简化了管理和维护工作,降低了数据丢失的风险。

二、监控视频系统部分—集中式存储架构

2.1监控前端:视频摄像头组成集中的前端数据源。

2.2存储系统:采用标准集中式SAN架构,视频摄像头的数据传输到存储处理节点(PC服务器),PC服务器安装监控软件,监控软件直接将视频数据存储在SureSave DA500的存储中,存储系统的总裸容量达到300TB。

三、监控图像/视频的比对信息备份

由于监控图像/视频的比对信息需要长期保存和再次查询利用,采用SureSave VTL1000i虚拟磁带库,配置10TB可用容量,通过光纤通道对比对信息进行备份和数据保护。

静态图像的分布式存储架构每个节点处理不同的摄像头数据,通过仲裁系统将60个分布式节点所处理的数据协同起来,实现查询作业的迅速定位,从而明确 从哪一个分布式节点调用数据,保证查询作业的高效运行;同时信息处理节点还需要将所有的比对索引信息集中到信息处理节点主机中,通过备份服务器和 SureSave VTL1000i虚拟磁带库,对区域监控的比对应用数据进行备份。

众志和达监控数据存储解决方案大幅提升查询性能

项目实施后,通过现场实测,SureSave UA2208统一存储系统与SureSave DA500磁盘存储系统,表现出如下表优越的查询性能。同时产品设计包含了多功能节能减排措施,实现了系统整体节能效果的优化。

存储架构

分布式存储架构

集中式存储架构

查询速度

300毫秒(基于SureSave UA2208)

>3-5(基于4GB光纤存储)

不同存储架构在320监控系统的历史违章图像/视频调用性能对比表

SureSave UA统一存储系统,采用开放性的设计原则,为盐都公安“320项目”提供统一的存储管理模式。SureSave UA统一存储系统可以连接和管理目前市场上各大主流厂商的各种不同类型接口的存储设备,基于Web的直观的管理界面,使存储的管理监控变得非常简 单,GUI、CLI等多种管理模式满足不同管理层次的需求,实现不同的存储设备的管理功能。大大降低了维护管理的复杂程度,用户只需要考虑将来采用什么存 储设备更适合自身的应用即可,而无需再顾虑设备兼容性与分散管理的难题。

SOUL提供了盐都公安“320项目”存储解决方案,大幅度提升监控数据的查询性能,改善了传统的监控系统集中式存储的性能。采用先进的存储虚拟化 平台为海量数据提供智能的动态I/O均衡,同时通过“应用存储感知”的策略,将存储池中的存储资源合理地分配给监控图像/视频和比对数据的使用,通过基于 策略的存储加速技术,改善读取性能,从而增加存储I/O之间的频繁调度,更加灵活的开销存储资源,使得存储性能得到飞跃式的改善。

盐都公安的相关负责人表示,“通过采用众志和达监控数据存储解决方案,提升了监控系统的查询性能,简化了存储规划与部署工作,系统的管理工作更加轻松。”

SOUL解决方案为盐都公安构建了统一的监控数据存储资源管理架构,有效的保障了盐都公安“320项目”系统平台的高效、稳定运行,通过先进的多协 议支持,盐都公安不仅可以保持原有SAN光纤通道的存储资源访问方式,未来在有需求的情况下可以通过IP-SAN和NAS的模式进行数据访问,实现无边界 的存储访问,保护了盐都公安现有投资;同时可以在后期实现远程数据复制拷贝等基于存储的完整保护和容灾解决方案。