曙光非线编系统存储解决方案

     存储需求分析

近几年广电行业随着IT技术的不断发展,影视制作工作效率有了显著改进,各种视频资源作为核心资产得到了很好的保存。尤其是IT中的新存储技术的应用使得各地电视台的重要工作视频节目编辑制作有了重大的改进和发展。
 

现在的视频节目制作系统与以前的节目制作方式不同,其采用非线性编辑方式。在编辑过程中首先要将来自摄像机、录像机或其他信号源的视、音频信号,分别经视频采集卡、声卡转换成数字信号进行各种编辑工作,并利用硬件实时进行压缩,然后将压缩后的数据存储到高速硬盘存储中。采集的数字视频素材经过编辑制作形成节目视频,供数字播出等生产系统调用。非线性编辑在给视频工作者带来便利的同时,对存储设备和存储技术提出相当高的要求。
 

共享要求
 

非编系统的特殊性要求多个工作站可访问同一份素材,即数据共享需求
 

带宽要求
 

对视频文件读写速度要求高,存储设备要满足带宽要求。 视频编辑分为标清和高清:标清–50Mb/s,高清–100Mb/s。每个非编工作站多为3轨视音频,以20台工作站为例计算数据带宽
标清读写= 50Mb/s*3*10台站点=1500Mb/s=187.5MB/s
高清读写= 100Mb/s*3*10台站点
=3000Mb/s=375MB/s           
 

稳定性要求
 

除了对性能的需求,由于非编系统是对连续的视频流的编辑,所以对于存储系统带宽的连续性、稳定性要求很高,一般以1/25s为衡量带宽的单位
 

容量要求
 

电视台一般单个或多个节目组共享素材存储系统,并且要保留一段时间,需要存储设备提供足够的存储空间
 

可扩展性要求
 

满足未来业务扩展和升级所带来的容量和性能扩展需求,扩展简单方便
 

可靠性要求
 

非编系统中素材文件珍贵,数据存储系统的可靠性是数据安全的有力保障。要具备从硬件到软件的冗余机制或安全机制,具有容错性,能提供持续正常的数据访问服务。
 

操作简单

系统操作要简单,具有方便有效的应急处理措施,能够在线维护系统设备,提供实时的系统状态监测和报警,支持远程监控和远程诊断,具有完善的安全机制和有效的责任追踪机制,如用户权限认证、操作日志的自动记录等。

      解决方案

作为国内专业的存储厂商之一,曙光公司为广电等海量非结构化数据存储应用厂商推出了基于单网架构的集群NAS存储解决方案—Parastor200
 

ParaStor200集群NAS存储系统汇集了曙光公司多年以来在广电行业和海量数据处理方面的丰富经验,从架构上彻底消除了传统存储系统的瓶颈,能够满足高带宽和高并发的海量富媒体文件存取的需求,为用户带来前所未有的存储性能体验。
 

ParaStor200集群NAS系统采用了代表存储技术、网络通信技术以及数据管理技术发展方向的并行体系架构,是一款面向海量非结构化数据处理、拥有自主知识产权的高端存储系统。

 

曙光为广电非线编用户提供的Parastor200集群NAS存储解决方案如上图所示,该系统作为数字媒体的集中存储平台,为非线编生产系统的上传、下载、制作、发布工作站提供集中存储服务。

Parastor200集群NAS存储系统基于开放式的存储架构,基层采用曙光自主研发的Parastor并行文件系统,将多台物理存储设备(这些物理设备可以是磁盘阵列,也可以是通用的存储服务器)的存储空间虚拟成一个具有统一访问接口和管理界面的存储池(也叫统一命名空间)。非线编工作站通过专用的客户端软件或是通用的NFS或是CIFS文件访问协议获得所需的存储资源。用户的数据按照一定的负载均衡策略,条带化的分布到后台的多套存储设备上,从而能够实现数据的并行读写以获得更高的并发访问性能,充分利用多台存储设备的性能和更大的存储容量,并有效的提高存储空间利用率,并且所有的存储设备可以实现统一的管理和监控,大大减轻了管理工作负担!

      解决方案特色和优势

采用Parastor200构建非线编应用的集中存储系统,具有如下优势:

高性能。Parastor200存储系统通常能够提供比传统存储架构更优的性能(存储带宽高达几百GB/s)和更大的存储容量(EB级别),尤其是在支持的文件数量上面,Parastor单一文件系统支持的文件数量可达十亿级别

动态负载均衡。Parastor200存储系统中,前端访问存储系统的读写操作,通过并行文件系统的负载均衡策略,将数据访问分散到存储系统的各个数据节点上,大大减轻了每个节点的负载。而后端访问数据,通过开放式的架构和存储网络,数据会分布在所有存储设备上进行存放和读取,每个读写操作都由更多的磁盘参与,因此大大的提高了读写操作的性能。

高可扩展性。Parastor200采用Scale-out扩展方式,性能和容量随数据控制器数量的增加而线性增长,打破了传统SAN架构的扩展限制,可以很好的满足广电用户未来随业务增长所带来的海量数据的存储空间和带宽的需求;避免由于用户需求的不断增长而带来的数据迁移和应用中断的问题,可随业务需求变化而动态调整资源,带宽、处理能力和存储容量都可以实时调整和扩展;所有扩容操作均可以在线进行,无须中断应用的正常执行。

高可靠性。ParaStor200系统采用全冗余架构、数据多副本技术以及高效数据容错重构技术和故障自动恢复机制,系统可靠性和数据安全性非常高!Parastor200的这种多级别数据容错机制可以允许多个硬盘甚至一套设备出现故障,具有更高的可靠性,可以为广电用户省去由于担心硬件故障所采取的复杂的数据备份工作!

方便的使用和管理。ParaStor200存储系统通常能够提供一种集中的、简便易用的使用方式,不需要修改或重新编译客户端操作系统,采用文件系统提供的高速客户端软件或是业界标准的访问协议访问存储系统。而且,提供统一的图形化管理系统,随着存储容量的增加,客户不需要增加额外的管理人员,将精力更多的投向自己的应用领域。

曙光Parastor200存储系统集中了SANNAS结构的优点,并且具备SANNAS不具有的优点。具有存储带宽和容量可以按需动态添加、使用方便和管理简单等诸多优点,届时,随着以太网和FC网之间性能差距的进一步缩小,单网结构的Parastor200解决方案能够支撑更大规模的标清甚至高清应用。在未来一段时间内,它将在越来越广泛的领域内,不断对传统的FC+以太网的双网结构带来冲击,并最终有可能取而代之,成为数字媒体网络化存储的标准方案。是广电行业海量非结构化数据集中存储的最佳平台。