CSDN 发表于:14年09月28日 10:38 [综述] DOIT.com.cn
在经过所有媒体的强力渲染以及众多企业的实践之后,大数据的好处已经无需多言。但相对于优势,传统数据中心在应对大数据需求时也暴露出众多弊端,使得现有x86平台想要顺利上马大数据应用和分析项目变得非常困难。
虽然x86能够以集群的形式为企业提供海量的计算和分析能力,但集群本身仍需要消耗大量资源在并行处理的调度和协同上,换句话说,x86集群只不过是在1+1<2的情况下的一种无奈折衷。当然,集群本身带来采购、运维压力也不容小视,毕竟数据中心是个寸土寸金的地方,任何数据中心的建设和运维都需要庞大资本的支撑。
而解决这一问题,一方面需要硬件平台拥有强大的性能,另一方面也需要应用针对平台进行大幅度优化。
纵观当前主流的硬件平台,IBM PowerLinux系统无疑是符合这两点基本需求的。同时PowerLinux本身的稳定性和广泛适用性也能让PowerLinux在处理大数据任务之后有能力负担企业其他核心应用。
PowerLinux优势详解
既然是Power+Linux的组合,优势的Power7+处理器自然是少不了的。8核心,每核心4线程、每核心256KB二级缓存、每核心10MB三级缓存……优秀的并行处理能力和IO能力是IBM PowerLinux胜任大数据挑战的关键因素。只有拥有众多的线程和更强大的核心,硬件平台才能以更少的服务器数量完成大数据处理任务,因为机器数量少了,浪费在调度上的性能也就因此减少,整体效率当然也更高。
另外,网络是大数据处理的另一个重要影响因素,更高效的网络能够降低延迟、提升速度。而在这方面,PowerLinux亦有独门绝技。
IBM为PowerLinux配置了Solarflare 10Gb以太网适配器,而其特点便是的高性能低延迟。而为了进一步增强网络能力,Solarflare网卡还中嵌入了可编程处理单元。在Open Onload环境中,用户可定义处理单元的作用,使其负担一部分数据预处理和分发任务。在大数据分析这种重网络负载应用环境中,Solarflare网卡的这一能力对提升平台的整体效果有显著的帮助。
而相对于硬件本身,软件的优化甚至更为重要。而在大数据分析和处理方面,IBM的实力显然是毋庸置疑的。在高性能分析领域久负盛名的IBM Platform Symphony针对PowerLinux平台做了特别的优化,同时,拥有广泛应用的IBM InfoSphere BigInsights和InfoSphere Streams软件同样也做了充分的优化。
第三方力量不可小视
当然,在很多情况下,大数据不仅需要通用软硬件平台,更需要根据行业特点进行一定程度的定制化开发。而运行开放Linux平台的PowerLinux系统在这方面同样具有广泛的合作ISV供不同行业的用户选择。
华胜天成等拥有深厚行业背景的众多优质一线软件开发商都加入了PowerLinux背后的一系列合作计划。力求为PowerLinux在大数据、云计算等方面的应用打造一个完整和开放的生态系统。因此,PowerLinux显然不会出现一些专有平台软件开发昂贵且应用狭窄的尴尬局面。
大数据的天时地利用人和
做事都讲究天时地利人和,大数据项目的应用同样如此。目前,整个业界对大数据应用的认可和高额投入可谓天时,在这个各大厂商争相推广自己大数据解决方案的时期,用户显然会获得更多关注和支持。PowerLinux平台本身具备的优秀硬件素质可谓地利,俗话说巧妇难为无米之炊,高效平台加以正确的使用无论如何都会比传统的x86平台表现出更好的性能。众人拾柴火焰高,PowerLinux背后数千家ISV可谓人和,海量的应用和广泛的行业开发能力都让用户在选择PowerLinux平台之后能获得广泛的支持和几乎设计所有行业的定制开发支持。