曙光为动漫产业基地构建公共服务平台方案

引言:

动漫产业,被誉为21世纪最具发展潜力的朝阳产业,随着计算机技术的介入使动漫制作又进入了一个全新的时代。中国的动漫行业相较日韩等国兴起的较晚,但是中国也逐渐看到了动漫行业里的巨大的市场,希望能成为动漫行业的后起之秀,在政策上对动漫行业也提供了很好的支持。

用户简介:

杭州动漫产业基地是国家首批动漫基地之一,同时也是唯一一家由政府投资建设的国家级动漫产业基地。成立以来,杭州动漫基地成为浙江省动漫产业发展的中心,汇聚了众多动漫制作团体,有力的推动了动漫产业的发展,使得杭州成为中国的"动漫之都"。

用户需求:

杭州动漫作为中国动漫行业的四大基地之一,在全国动漫行业有相当的影响力,每年的中国动漫节都在杭州召开。为了适应动漫产业的发展和社会的需求,为了提高动漫制作的质量与效率,杭州动漫产业基地急需建立一个可面向浙江全省开放,能够为全省动漫企业提供高效的动漫渲染服务的动漫公共服务平台。

曙光解决方案:

针对杭州动漫产业基地的需求,曙光公司为其提供了一套完整的、整体的解决方案–曙光高性能机群服务器系统。该系统不仅提供了动画渲染系统运行所需要的开发环境与并行环境,而且用户在使用此方案之后无需增加额外的硬件和软件即可保证系统中所有设备的正常运行。

曙光公司通过对杭州动漫基地渲染系统的实际考察,了解到该系统的工作模式。动漫制作一般分为两种方式,一个是通过三维建模,利用计算机技术对其进行渲染、特效、后期合成以及剪辑等处理,并最终形成数字产品或胶片产品。另一个是纯粹的数字制作部分,前期由工作站先进行建模、处理最后合成为动画产品。而无论哪种制作方法,其技术核心部分都是一样的,也就是说,都要通过动画的建模和渲染"模块"来实现,在杭州动漫基地的项目中,曙光则扮演了系统的"技术核心"。

整个数字动画渲染的完成,在系统的建设上分为前期建模、中期的渲染以及后期的合成。分析硬件架构,前期建模和后期合成可以在工作站上完成,中期的渲染可以交给机群渲染软件完成,而所有数据的产生以及最后成品的归档,则需要大规模存储空间的支持。此外渲染农场的存在会大大缩短图片的处理时间,机群规模同处理时间几乎成线性反比关系,只要所构建的机群规模足够,既可满足多工作站的渲染需求。

因此,曙光的工程师在系统的搭建中特别注意了三个方面的建设:渲染计算节点的搭建、存储系统和基于机群的渲染农场。

动画渲染计算节点的需求

动画渲染是一个计算和通讯都密集型的计算,对CPU的浮点运算能力要求较高,这时候就要求包含有多个CPU的服务器,来完成大规模的计算量,这也就是经常所说的胖节点。胖节点架构有利于性能的提高,它采用一种进程/线程间通讯,即胖节点采用CPU间通讯方式,系统将任务队列对称地分布于多个CPU之上,从而极大地提高了整个系统的数据处理能力。而其他架构则采用节点间网络通讯的方式,众所周知并行程序运算的瓶颈在于通讯,过大的通讯延迟将影响运算速度,而胖节点很好的屏蔽了这一点,极大的提高了性能。另外胖节点架构提过对大内存支持,节点中任何一个CPU都可以使用节点内全部的内存,在运行串行程序时,这个程序可以申请很大的内存。同时提供多线程的支持, 一个节点中采用多个CPU,这些CPU之间可以进行多线程的并行。

由于动画渲染计算过程对于硬件的高需求,系统采用了曙光四路A830r-F服务器作为计算节点,该款产品具有处理速度快、可用性强、易管理等优异性能,能稳定运行多种32位和64位主流操作系统,为杭州动漫基地的渲染工作提供了出色的保障。

渲染集群系统解决方案

在动画节目制作过程中渲染所需要的时间越来越多,而利用PC工作站来进行渲染的方式必定无法满足如此庞大的计算量。因此在这种背景下,势必存在繁重低效的过程,也就是"渲染瓶颈"。在进行三维创作过程中,动画设计者大都使用图形工作站来完成渲染的任务,单机渲染视图和动画时所需时间往往让人难以忍受,30帧动画就可能耗费数小时,显然渲染时间显得十分困窘,使用单机工作站渲染视频动画的方式速度实在很低,往往是以数天计算,甚至上月的;这样的渲染占到很大的制作时间比例。另外,必须考虑解决渲染过程中的I/O瓶颈。当动画越来越逼真、模型越来越细腻、渲染要求越来越高的情况下,伴随着文件变大、素材库变大,庞大的数据处理将使得32位计算本身在架构上就成为一个瓶颈,因为32位的工作模式已经决定了I/O的带宽不能满足数据处理的要求。

如果渲染程序采用机群模式,上述问题就会迎刃而解。因此曙光在杭州公共动漫平台的建设中提出了基于机群的渲染解决方案。渲染机群系统由32个渲染计算节点、1个分发节点、一个管理节点及一个备份节点共同搭建。渲染服务器通过一系列分布式工作命令借助强大的渲染能力来帮助设计师高效率地完成三维作品的最后成形。借助于分布式渲染器,动画设计者不仅可以在设计完成3维模型以后,导入机群渲染系统,通过机群渲染强大的数据处理能力,迅速的按需求进行动画或静帧进行渲染。通过分布式计算,将一个大型的模型快速渲染,时间往往缩短到原来的1/2、1/3,甚至几十分之一。原来可能要几天运算的数据,可能几个小时就能搞定,大大提高工作效率,为高效率地完成后续合成工作打下了坚实的基础。

存储系统 为渲染锦上添花

随着影视动画作品越来越逼真、模型越来越细腻、渲染要求越来越高的情况下,文件和素材库变得越来越大,而存储系统也成为影响渲染机群性能的主要因素之一。为了减缓存储的压力,曙光为杭州动漫存储系统的搭建采用了拓展能力更强的SAN存储结构设计,以曙光磁盘阵列DS8340 FA配置了高达24T的实际存储能力,外加高速的I/O通信能力。

如上图所示:杭州公共动漫平台的存储系统采用了目前较为成熟的SAN存储局域网络构建,所有的渲染机群节点挂接在存储局域网内,通过光纤交换机与高端的磁盘阵列柜相连。在普通方式下,磁盘阵列内的24T的存储内容在逻辑上是独立的,32个计算节点是无法同时共享该数据的,而在实际应用中,系统则通过SNFS的方式达到了数据的共享。

由于动漫渲染系统中的客户端平时都是独立工作的,客户端之间不需要互相通讯,因此以太网络仅仅是每个客户端同渲染机群的连接通路,所以1GB的带宽既可。另一方面,制作出的场景需要渲染的时候通过以太网络将任务递交给后台的渲染机群,渲染机群在接到任务后进行渲染动作,该工作需要频繁的读取磁盘阵列上的内容,于是在这个方面配置的工作环境带宽则需要达到4GB,给予系统较大的工作带宽。

杭州动漫平台是一套公共服务平台,投入使用后浙江省四十余家动漫企业都将通过该系统进行渲染工作,因此用户的管理则显得非常重要,为了更好的方便用户使用,工程师又通过曙光机群操作系统软件(DCOS)对渲染系统进行了管理优化,大大提高了机器的有效率,减少了不必要的用户资源冲突,同时兼顾资源的共享和资源的合理应用。

小结:

杭州公共服务平台渲染系统的建立不仅有效解决了杭州动漫基地目前的难题,而对浙江省动漫产业未来的发展有着巨大的推动作用。相信在当代科技的助力下,计算机的介入将有效的推动中国动漫业的全面发展,为我国的动画文化发展奠定科技基础,为提升我国整体文化艺术魅力作出贡献。曙光公司作为国内有名的服务器厂商,长期以来,曙光深耕于各行业解决方案和服务的提供,同时在为各行业服务过程中积累了大量的丰富经验。此次为杭州动漫建设的系统平台已经投入到正常的运营当中,其稳定、完整的性能深受用户的好评和青睐。

关于曙光:

公司是一家在科技部、信息产业部、中科院大力推动下,以国家"863"计划重大科研成果为基础组建的高新技术企业。它以中科院计算所、国家智能计算机研究开发中心和国家高性能计算机工程中心为技术依托,拥有强大的技术实力。曙光系列产品的问世,为推动我国高性能计算机的发展做出了不可磨灭的贡献。2008年6月,每秒运算233万亿次的首台国产百万亿次超级计算机曙光5000A研制成功,从而使中国成为继美国之后,第二个能研制百万亿次高性能计算机的国家。

2006年7月,占地面积60余亩的曙光天津产业基地落成投产,实现民族高性能计算机产业的历史跨越。曙光高性能计算机连续14年稳居国产高性能计算机市场第一,拥有国产高性能70%以上的份额,并在高性能集群领域实现了国产机对进口产品的超越。曙光公司生产的系列服务器以技术先进、性能卓越、服务优良见长,曾获"国家科技进步一等奖、二等奖"、"中科院科技创新特等奖"、"2001、2003、2004中国十大科技进展"等多项国家级殊荣。

长期以来,曙光始终专注于服务器领域的研发、生产与应用,依托超级计算机的扎实功底,立足自主研发,通过不断技术创新,构建出拥有完全自主知识产权的全系列精品服务器,能全面满足用户从超级计算机到普通PC服务器的各项应用需求,在互联网、金融、电信、生物、气象、石油、科研、电力等多个行业有着大量成功应用。