容量PB级 浪潮为成彭高速搭建监控海量存储平台

成彭高速起于成都绕城高速,至于彭州市牡丹大道,长达19公里。浪潮基于软件定义存储AS13000,为成彭高速视频监控系统提供PB级海量数据平台,满足卡口、路况监控等场景的数据存储、使用需求,以数据慧眼全程护航成彭高速。

成彭高速扩容改造  监控数据近1PB

成彭高速公路于2004年10月1日建成通车,全长19公里,双向四车道,起于成都绕城高速公路大丰立交桥,止于彭州市牡丹大道。该路的建成,实现了成都市所辖所有区、市、县都通高速公路的目标。而作为四川首条“四改八”高速公路,2016年10月1日,成彭高速扩容改造工程正式开工建设。

浪潮软件定义存储助成彭高速打造PB级视频监控系统

成彭高速扩容改造工程采取在既有道路两边加宽的方式,从主线收费站入口至成彭高速的成德绵立交处,共18公里,全线由4车道拓宽为8车道。同时,还对绕城高速大丰立交进行改造,新建部分匝道,实现绕城高速与成彭高速的直接转换。作为改造工程的重点,成彭高速视频监控系统主要包括收费站子系统、隧道子系统、外场监控子系统、服务区监控子系统、路段监控分中心、交通信息采集与发布子系统等,以实现对收费站、隧道、服务区等区域的监控。

成彭高速视频监控存储系统需要对沿线交通卡口、电子警察、监控摄像头等设备所产生的数据做存储,其数据类型包括视频数据、图片数据以及结构化数据等。

第一,产生海量数据。成彭高速新增综合检测和雷达测速子系统145套,其中不低于500万像素的137套,不低于800万像素的8套。同时,新增事件检测子系统64套、智能交通监控102套。根据现网获取数据的场景,一方面在路况监拍方面需要大文件的连续写入与随机读取,并按照存储周期进行循环覆盖。另一方面在卡口场景,一个通用卡口一天可以产生1万张以上300KB至1MB不等的图片文件,且存储周期长,需要分布式存储来承载海量数据。

第二,并发读取量大。在对交通流量、车速、车道占有率和车辆排队长度、车头时距等交通大数据进行分析时,需要存储系统提供高并发吞吐,给大数据应用提供数据支撑。

浪潮SDS:基于元数据集群、小文件聚合技术进行创新

针对成彭高速监控系统中面临的PB级存储挑战,浪潮采用了软件定义存储AS13000系列解决方案,基于场景化定制,以高速交通数据存储和应用特点为基础,解决成彭高速现有系统的难点、痛点。

首先,通过软件定义存储构建海量存储平台,并采用元数据集群避免性能瓶颈。系统共有7个AS13000M3节点,单节点配备2块800GB数据中心级SSD、3.5英寸SATA3机械盘(单盘容量为4TB),节点磁盘满配置,系统裸容量达874T,使用容量达561T,充分满足了成彭高速海量数据存储需求。

浪潮软件定义存储AS13000

其次,通过小文件聚合进行性能优化。视频监控系统中存在着图片等大量小文件,浪潮软件定义存储AS13000底层存储系统采用小文件聚合技术提升读写性能。小文件聚合是指用户在指定的聚合目录下,对小于一定大小的文件(默认512KB)以紧密聚合对齐(4MB)的方式写入聚合文件中,从而减少数据写入磁盘次数,提高小文件读写性能,将小文件的存储性能进行优化。此外,浪潮软件定义存储还采用了目录负载均衡技术、SSD加速技术,使得数据性能随节点增加而拟线性提升,便于成彭高速监控系统后续的大数据分析以及多平台的快速响应。项目建成后,浪潮软件定义存储系统,8小时内能够为成彭高速完成不低于500万图片文件(500-800KB)的1次写、4次读和1次删除操作。

值得一提的是,浪潮存储在本地拥有固定的技术支撑团队,开发工程师在部署期间全程帮助进行现场系统调优及相关设备部署,并按用户需求搭建实测环境,所有设备应用均通过测试要求;未来还将提供原厂商3年7*24免费上门、4小时快速响应服务,保证用户良好的应用体验。

聚焦场景化应用

浪潮存储通过聚焦场景化应用,打造公路行业的专业存储产品,帮助用户应对高速公路的管理难题。在成彭高速视频监控系统中,高效的存储系统帮助当地交管部门通过对信息的实时采集、分析、处理和预测,采取有效的交通控制手段,预防可能发生的交通事件、事故和阻塞,提高了路网运行的利用效率和安全性。

除此之外,浪潮存储还在各个场景交付了大量PB级工程,包括软件定义存储AS13000在某资源中心一套70PB系统、某运营商数十套PB级系统、某省政务云90个节点20PB容量项目、成都三环路20PB容量视频监控系统、广电总局141个节点10PB云平台,以及华强方特公司5PB、千万级小文件并发性能动漫制作平台的应用部署。