中影动漫基地—成功应用HP X9300 IBRIX集群文件系统

"为了更好地完成高品质影院动画公共技术服务平台的建设和运行,经过一年多的酝酿,中影动漫基地从2009 年开始独立运作。现在,我们的动漫影片制作业务已经排到了2012年。"中影集团电影数字制作基地有限公司北京影院动画制作分公司(以下简称中影动画)总经理雷振宇介绍说。

为了保质保量完成动漫影片的制作,中影动画于2010 年初引进了惠普公司的IBRIX 集群文件存储管理系统,不仅大大提高了动漫影片的制作效率,而且保证了数据的安全性。

存储不能拖后腿

动漫影片的制作离不开IT设备。为满足制作的需要,中影动画不断对现有的IT设备进行升级,同时进行系统的整合,目的是逐步提高工作效率。"为进一步提升系统的数据处理能力,我们将网络中的IP 核心交换机与分支交换机统一升级为万兆接口模块。与原来使用的多个千兆交换机堆叠的方案相比,以万兆交换机为核心的网络的性能得到了大幅提升。网络不再是系统性能的瓶颈所在。"中影动画技术部的刘刚介绍说,"随着网络性能的逐步提高,后端存储系统承载的数据处理压力越来越大。存储系统的性能如何与网络的性能相匹配是我们重点要考虑的问题。"

在采购新的网络存储系统之前,中影动画对市场上主流的网络存储产品进行了广泛的测试,并且参考了迪斯尼、梦工厂等动漫企业的存储架构,最终选择了基于IBRIX 集群文件系统的HP X9300 存储解决方案。

IBRIX 是一种并行文件系统,可支持16PB 的单个命名空间(Single Namespace)。IBRIX 在处理大并发的小文件随机访问方面有突出的表现,因此被国外从事动漫渲染及影视后期制作的客户广泛采用。2009年,惠普公司收购了IBRIX公司,并将其软件与惠普高端服务器及存储产品融为一体,使得该系统不仅具有更高的处理速度,而且可以实现线性容量和性能的扩展。中影动漫基地目前使用的为EDI的存储设备。

小文件访问不再是瓶颈
现代动漫制作在初始设计阶段,一般使用物理模型扫描或直接使用电脑建模工具建立模型,之后使用多种技术在帧上增加动作。在这一过程中,技术人员经常会使用非常复杂的算法计算对象的活动路径,由此产生的对象数据文件非常多。根据中影动漫基地最近制作的某部动画电影的要求,仅单个场景就要访问数百个甚至上千个纹理文件。这些对象一般为很小的文件,平均大小约10kB~20kB。

在创作过程中可能要用很多重复的渲染测试来测定最终图像和动画动作。在调度程序的驱动下,技术人员使用渲染集群完成实际的渲染功能。每台电脑即集群中的每个节点都能够高性能地共享访问整个对象库和相关的描述元数据(Metadata),这对于渲染群的效率至关重要。

刘刚表示,中影动漫基地目前存储的文件数量已达13亿个。在动漫影片制作的过程中对上述平均大小只有10kB~20kB的文件进行大批量地访问和编辑时,对存储造成的压力相当大。在选择存储系统时,中影动画有三条原则:第一,存储系统是否有助于提高生产效率,节省制作时间;第二,存储系统是否具备较高的可靠性和安全性;第三,存储系统是否具备较高的扩展性和与行业标准硬件设备的兼容性。IBRIX 集群文件存储管理系统和HP X9300服务器完全满足上述要求。

元数据分布式管理好处多2010 年5 月,存储系统正式上线运行。近半年来,整个系统运行状况良好,没有出现过性能上的瓶颈。"从网络到存储再到客户端,整个系统的性能表现优异。"刘刚表示,"我们曾对系统的性能进行过严格测试,结果显示,系统的单向读/ 写速度均可满足3GB/s(1B=8b)总带宽的需求。"

该系统在性能方面的表现令刘刚印象深刻。在传统的存储管理系统中,元数据通常采用集中式管理,而HP X9300 采用的IBRIX 对元数据的管理采用分布式的管理方式,不仅消除了在渲染的过程中由于频繁的随机访问带来的元数据处理方面的性能瓶颈,而且消除了元数据服务器的单点故障。该套管理系统的另一个好处是,可以根据动漫影片制作工艺的不同,灵活地分配网络带宽,从而提高项目的整体进度。

中影动画目前拥有的存储容量为140TB,其中已经使用了约42%的存储容量。刘刚表示,随着公司业务的不断增长,中影动画未来将对现有的存储系统进行扩容,并会根据应用的需求做出调整和部署,以适应未来新技术发展的需要