阿明 发表于:14年04月29日 17:00 [原创] DOIT.com.cn
在2014年4月28日POWER8发布的大会现场,是我第一次在大会上看到IBM大中华区副总裁全球合作伙伴事业部大中华总经理刘莉莉,因为她汉语说得不太流利,我只记录了她讲的大概,就是POWER8更适合大数据和云计算有图谋的合作伙伴。她认为,仅仅依靠X86的合作伙伴将会是徒劳的。
事实上,POWER8真的有如此强大,能凭借其开放性再定乾坤吗?之于POWER7,IBM如何走向新POWER时代?相关渠道支持计划真的有吸引力吗?既然IBM宣称POWER8更适合大数据,那么相关大数据产品路线图是怎样安排的?与此配合的IBM存储又将如何重构?下面就从当天大会所听所知,一一回答这些问题。
POWER产品定位牛逼在哪里?
来自IBM的POWER SYSTEMS产品总监李红在谈到POWER8的出现时,提到了POWER的处理器路线图,从POWER4到POWER5、POWER6、POWER7再到当前的POWER8,IBM对于POWER的承诺已经呈现在整个产品线中。可见,IBM对于基础架构的重视,并且POWER9已经在PPT里面出现了原型机图片。可见,IBM在POWER家族上的前世今生以及未来趋势都有所铺垫与前瞻,也都做了大量和细致的工作。
不过,POWER8牛逼的地方是采用22纳米SOI技术,在POWER7中的eDRAM芯片缓存技术继续沿用,半导体采用15层高集成度技术,高达650平方毫米。采用12核处理器芯片,在一个核上集成12个处理器。执行单元有所提升,芯片内部传输线路是POWER7的两倍,采用8线程。并且根据应用状态自适应线程模式,可以是混合线程模式,充分利用系统的性能。
另一个亮点,缓存方面一级缓存扩大到64KB,二级缓存512KB SRAM,三级缓存96MB eRAM,四级缓存采用芯片外缓存,最多达到128MB eRAM。使得POWER8芯片处理能力整体有了更大大的提高。
芯片采用双内存控制器,同时持续带宽达到192-230GB/S。在安全性方面更注重采用硬件加密AME,以及TRANSACTIONAL MEMORY技术,使得整个芯片能耗管理更为有效,每个集成内核电源都有稳压模块。TRANSACTIONAL MEMORY在多线程访问同样内存时会产生锁,就是常说的“LOCKS”,而IBM采用硬件的方式来完成,在微码级别中应用硬件方式解决锁的问题。大幅度提升了应用性能,在大数据应用中,JAVA写的应用出现锁非常多,因此,该IBM技术更适应解决大数据应用性能的问题。
在总线方面,集成PCIe Gen3,在节点互联方面采用SMP方式,两个跳点可以建立连接,芯片上采用多条总线,直接处理器集成,低延迟表现良好,达到32GB/S的Gen3 x16 带宽。CAPI技术也是充分体现,就是一致性加速处理接口,英文为:Coherent Accelerator Processor Interface,一般情况下客户不直接采用CAPI,而是有IBM合作伙伴合作开发之后提供给用户。
其虚拟寻址,与处理器运行程序一样使用指针,加速器可以与处理器一样直接对内存进行寻址,消除操作系统和设备驱动程序的额外开销;硬件管理的缓存一致性,使得加速器能作为正常线程参与LOCKS,降低IO通信模型中的延迟,延迟至少可以减少到30分之一。
在POWER8上采用虚拟化的POWER KVM,开放虚拟化协议,支持云平台以及公共云,带给IBM新的机会,MICRO-THREADING将核更多细分,传统的POWER KVM和POWER KVM分配整个处理器给VM。
另外,POWER8更为开放,带有Little Endian Support类似的Big Endian Support, 与X86字符一致,对于采用C++语言开发的用户可以方便移植。体现了POWER8更贴近开发者提供的便利。
POWER8第一个放入公共云平台,如SOFTLAYER。CAPI是第一个让客户可以定制硬件应用的加速器设计。开放虚拟化包括了POWER KVM、POWER VC。支持LINUX,包括Debian派生版本Ubuntu,Linux Mint,Fedora及其相关版本Red Hat Enterprise Linux和openSUSE。
可见,POWER8系统为新兴工作负载及开放平台而生,POWER8相关命名的规则,大写S代表SCALE-OUT,都适合用户横向扩展,两款运行LINUX机器,为S812L\S822L;另外三款运行混合操作系统,为:S822、S814、S824。POWER8与POWER7对比,前者扩展槽位高,带的硬盘也比后者多,内置硬盘达到12-18个。
POWER8 SCALE-OUT系统全部采用DCM封装技术。POWER8更高的性能表现,与POWER7相比,每核性能有两倍提升,S824比之前的P5-595整体性能还要快。
在存储BANKPLANE OPTIONS方面,可以直接带12个硬盘的主板,选择不分开的主板和分开的主板,同时为大数据设计的主板带18个硬盘,并且带有EASY TIER,对SSD和HDD盘自动管理。可见,针对不同工作负载提供了不同的存储对接。
最大疑问:POWER7何去何从?
POWER8发布之后,POWER7如何走向?IBM对于这两者采取共存方式,POWER8针对BIGDATA和云的负载环境,如公共云支持、做应用优化;POWER7针对传统工作负载环境。
全新一代系统平台IBM Power8正式在中国发布,现场我看到了TYAN的服务器主板,Power新品亮相,以及立足Power的众多伙伴,伙伴亮点:神州数码、华胜天成。他们都是Power促进会成员。
华胜天成POWER8渠道支持计划,是务虚还是务实?
华胜天成副总裁郝庄严认为,“我们未来创新在于CAMP。”CAMP发展历程与华胜天成契合在一起,IBM从2012年就开始了基于POWER的开发,从POWER7、POWER7+到POWER8,而IBM在CAMP产品线增加投入,从金融、电信、政府等行业获得了很好回报。现在华胜天成也开发了新的应用,包括应用服务器、大数据等,针对集群部署也有新的方案出台。针对POWER DIRECTOR2.5在2014年出台,就是在工厂就为客户做好了预装,减少客户的部署成本。针对中国SDI工厂出现,并且华胜天成也有新的针对云的公司成立。为此,在CAMP方面的发展将由新的发展机会和动力。
CAMP就是将一个集成服务转化成一个产品功能,华胜天成减少客户使用方案的实施周期,减少成本,IBM的PURE SYSTEM也是在工厂预装好,减少客户部署难度,提升效率,减少成本。可见华胜天成与IBM在这个方面的发力是“穿同一条裤子”的。
不过,由于低端UNIX市场在不断滑落,但LINUX市场在攀升,华胜天成看好后者的市场,CAMP的市场空间就是针对25K美元到6K美元的群体。CAMP渠道架构就是一个由更多资源、更本地化、更开放、更灵活来体现,底层:ISV/CFT行业拓展,区域拓展;中间层:COC渠道政策技术支持;最高层:CSF方案整合,工厂预装。CAMP全新奖励计划鼓励ISV行业拓展,提升ISV对于CAMP的积极性,CFT伙伴每销售一个CAMP就享受一定的奖励,对于区域市场也投入很好的奖励与之鼓励。
华胜天成看好:“LINUX ON POWER的更好利润,更稳定的系统与更稳固的客户关系,”加入CAMP渠道就能凸显核心竞争力,从而加强下游渠道伙伴销售更高价值的方案,形成更多核心竞争力。CAMP形成三线支持体系:对于CSF三线支持,对VAD二线支持,对CFT和ISV一线支持,包括全天候热线、快速支持、现场支持等。
并且推出CAMP专业培训,点对点的渠道培训,实战成功案例分享培训,提供技术和销售以及解决方案认证培训,以及基础产品培训和高级的付费培训结合。
另外,华胜天成将针对CAMP做全国市场巡展,支持ISV在行业方面的研讨会。
POWER8合作伙伴政策与奖励计划:IBM不只是拿钱开路
在谈渠道计划之前,得明白POWER8的渠道定位,IBM大中华区副总裁系统与科技部服务器解决方案总经理侯淼分析POWER8是一个什么产品时,他认为有着四个方面的关键点,一是开放,通过OPENPOWER基金会更好地开放;二是在大数据负载方面表现优秀;三是POWER8与云,支持KVM和VM;四是POWER8与中国,针对中国开发者推出测试云。
IBM希望POWER8专注两个市场机会:一是针对X86市场;二是新的云计算市场。POWER8希望给到伙伴的利润超过X86三倍以上。针对OPENPOWER基金会会员有开发基金支持,大于10万美金通过登记提供更好的伙伴利润空间,针对POWER8的20台奖励计划,针对大数据与云计算项目提供给伙伴3-5个点的奖励空间。等等一系列针对伙伴销售的计划都为刺激伙伴增值提升伙伴利润空间而设计。
对此,IBM STG大中华区渠道总经理林建平笑言,POWER8发布会现场,IBM人已经开始T恤+休闲裤,不再是西装革履领带,这就是IBM人跟随IBM开始走向开放的自我表现。OPENPOWER标志IBM更快更大胆地开放POWER,POWER8将是一个新的开始,对IBM如此,对IBM的合作伙伴亦如此。
POWER8大数据新品EASTWOOD和POSH P8,正在完善中
据IBM相关人士透露:大数据分析POWER8新品正在开发中:EASTWOOD、POSH P8,POSHV1在2014年6月P7+上会发布,POSHV2在9月12日P8上可以使用。
EASTWOOD将存储和计算分开,存储节点由GSSp主机带密集存储,大数据关注计算、存储和网络三个维度的问题,采用压缩分载,使得I/O和计算合理分配,CPU可以做更多排序工作。
由此,该架构采用存储节点上面由冗余以太网交换机连接与服务器形成一个灵活的,具备压缩功能的EASTWOOD。
在高密度HPC方面,由TULETA服务器带JBOD存储盘柜,6台服务器+18个JBOD,42U标准机架。
X86采用计算和存储集中一起,使用HADOOP作为引擎,一个CPU核对应一个内置盘,将存储分散到所有节点,存储节点安全监控存在隐患,采用RAID0存在网络带宽和I/O接口浪费;POWERLINUX将计算与存储节点分开,存储节点数据便于掌控安全,并且对存储和计算做灵活配置,采用软RAID5方式保证了两份拷贝的安全,节约带宽和接口。在IBM看来,POWERLINUX已经在这个方面完胜X86了。
林咏华诠释POWER8新特性带给企业私有云的好处
IBM中国研究院云基础架构及技术组技术总监林咏华,希望从POWER8新特性对企业私有云有什么好处,IBM在云中到底有什么开放性?
在云端,IBM具备了公私兼备。公有云,有SOFTLAYER,一个拥有13个数据中心大大型公有云,向企业及公众提供包括BARE METAL服务器、虚拟服务器、存储和网络资源等服务;私有云,有私有云企业级解决方案,基于开放平台技术和接口,支持不同的主机架构包括POWER和X86。
POWER8是新的架构即SMT8的12CORES,SMT8存在同一个CPU硬件盒,SMT8虽然很好,对于DB2等有很好线性性能提升,但并不是对所有用户都有很好的性能提升,比如对于SMT2\SMT4对某些用户也有更好的应用,为此,IBM做了动态分析工具,支持用户更好的应用,在线配合SMT。
POWER7及之前都采用软件来实现MEMORY EXPANSION,牺牲2-3倍的性能来实现。IBM支持在POWER8上面的大端和小端模式,即Little Endian Support和类似的Big Endian Support。对于用户想将X86应用迁移到POWER8上,也就更为方便。
SOFTLAYER目前暂时还没有POWER,但SOFTLAYER已经宣布支持POWER8,很快SOFTLAYER将采用POWER8。
对于OPENSTACK已经成为云计算的主流创新技术而言,IBM通过接触用户在企业中应用问题来看,IBM已经做了基于OPENSTACK的产品和平台,并反馈给OPENSTACK社区。统一化支持POWER和X86在开源云平台的管理,就是基于OPENSTACK可以对POWER+X86进行统一云管理。例如,在混合云方面支持移动通信网络功能虚拟化,NFV,即NETWORK FUNCTION VIRTUALIZATION。采用POWER+X86的混合架构,取得云平台性能上的优化。
Power8发布下午场,我忍不住拍了她,一个IBM中国研究院的成员,最初做powerNV支持,现在讲述全新Power扩展无限可能,侃侃而谈,能量充足,性感演讲HOLD全场。
全新POWER+IBM存储重建基础架构,为IBM存储打气
IBM系统科技事业部系统架构师许亮分析互联网技术在系统架构方面的特点包括了:分布式服务框架、异步处理、分库分表读写分离、缓存技术、开发运维一体化、快速迭代。因此,来自大规模并发与大数据,云计算在这个大数据时代取得很大进步。
大家可以查到这样的资料:分布式CAP理论:证明了在共享数据的分布式系统中的上述CAP性能中,同时最多只能同时满足两个。
事务处理型交易具备ACID特点,ACID指的是Atomic(原子的)、Consistent(一致的)、Isolated(隔离的)以及Durable(持续的),它们代表着事务处理应该具备的四个特征:原子性:组成事务处理的语句形成了一个逻辑单元,不能只执行其中的一部分;一致性:在事务处理执行之前和之后,数据是一致的;隔离性:一个事务处理对另一个事务处理没有影响;持续性:当事务处理成功执行到结束的时候,其效果在数据库中被永久纪录下来。
除此之外,还有非事务处理型交易。
在IBM对700多名客户的调查发现,所有客户都迫切需要解决扁平化的数据处理方式。
为此,IBM推出两种方案适用用户的不同情况:
一是针对核心应用双活+两地三中心方案,包括生产中心和同城容灾中心。DS8000系列与POWER的灵活应用。
二是针对次关键应用的统一存储云:统一存储云方案采用SVC整合大中型银行应用,采用V7000/V5000在其中的应用。
根据不同IO特性,从内存密集型到存储密集型用户环境,IBM所能提供的存储架构模式包括了以下几种情况:
高级内存密集型用户需要在磁盘上加入闪存层提升存储性能;
中间件与存储技术的有效集成将对实时数据分析产生显著影响,IBM DS8000 SSDs配合面向应用指令堆栈的API,EASY TIER优化应用指引存储适合客户相关数据的存储;
两大主要的数据仓库方案和相关存储需求,IBM Netezza数据仓库和PUER SYSTEM结合;
大数据负载特点要兼顾传输中与存储中的数据特点,具备大数据的4V。
另外面对迅速增长的数据存储需求解决之道,IBM帮助用户提供了在合适时期采取合适的存储策略步骤,达到最佳经济存储的目标:T1层可以采取闪存帮助用户性能提高3倍,T2层采用虚拟化、分类、自动存储层级、按需保存数据,优化资源配置技术;Tn层的长期数据保存,采取SNOWBAL STUDIOS数据压缩技术,数据存储单位成本降低每TB的70%。
不知道为什么,在现场许亮还为IBM存储“打气”,特别介绍了IBM在存储方面具备的一些特点、优势和发展方向。可能是,这么多年来,IBM一直坚持讲DS8000、V7000、V3000、V5000,以及XIV、EASY TIER,后来大力推广FLASHSYSTEM但雷声大雨点小,毕竟东西昂贵非一般客户可以采购。
许亮介绍来自2011年的一篇文章指出:磁盘高密度的问题。后来IBM采用POWER775与高密度磁盘的结合方案与之对应。
文章原文如下:IBM builds 120 petabyte cluster out of 200,000 hard drives
By Sebastian Anthony on August 26, 2011
Smashing all known records by a multiple of 10, IBM Research Almaden, California, has developed hardware and software technologies that will allow it to strap together 200,000 hard drives to create a single storage cluster of 120 petabytes — or 120 million gigabytes. The drive collective, when it is complete, is expected to store one trillion files — or to put it in Apple terms, two billion hours of MP3 music.
The data repository, which currently has no name, is being developed for an unnamed customer — but with a capacity of 120PB, its most likely use will be the storage device for a government-owned or federally-funded supercomputer or other high-performance computing (HPC) application; 120PB is the kind of capacity that you need to store global weather models or infinitely detailed weapon system simulations, both of which are rarely carried out by commercial interests Alternatively, it could be used to store a large portion of the internet (or data about its users) for Google or Facebook, or another client with very deep pockets. The largest systems currently in existence are generally around 15 petabytes — though, as of 2010, Facebook had a 21PB Hadoop cluster, and by now it’s probably significantly larger.
Exact details about the software and hardware isn’t given by IBM, but we do know that it features a new-and-updated version of IBM’s General Parallel File System (GPFS). GPFS is a volume-spanning file system which stores individual files across multiple disks — in other words, instead of reading a multi-terabyte high-resolution model at 100MB/sec from a single drive, the same file can be read in a massively parallel fashion from multiple disks. The end result is read/write speeds in the region of several terabytes per second — and, as a corollary, the ability to create more than 30,000 files per second. GPFS also supports redundancy and fault tolerance: when a drive dies, its contents are rebuilt on a replacement drive automatically by the governing computer.
On the hard drive side of things, if we divide 120PB by 200,000 you get 630GB — and once you factor in redundancy, it’s fairly safe to assume that the drives are all 1TB in size. We also know that every single one of the 200,000 drives will be watercooled with presumably the largest and most complicated bit of plumbing ever attempted — but considering IBM’s penchant for watercooling its top-end servers, that’s hardly surprising (though we still hope to post a photo of the system once it’s complete).
As it stands, supercomputers — and large-scale science experiments like the LHC — can produce (and compute) far more data than can be feasibly stored. IBM’s system, it is hoped, will be a data repository that goes some way to bridge the gulf between silicon, Moore’s law-governed technology — and electro-mechanical storage. Of course, on the other hand, perhaps it’s time to stop playing around with hard drives and start building mass storage arrays out of flash memory…
到了2013年IBM发布第五代服务器EASYTIER以及计划中的磁带EASYTIER功能,未来磁带EASYTIER功能:从整体上简化存储管理,自动迁移空闲数据块到磁带介质,当被访问数据块自动回迁到磁盘,优化整体粗才能的性价比能源以及占地,适用历史库,各种类型资料或影像库的存储。
POWER服务器与EASYTIER结合:利用服务器内置SSD作为本地访问的热点数据自动缓存,对读操作进行加速;提供EASYTIER API,应用软件与用户可基于特定需求进行数据在不同存储介质层次间的自动在线迁移。
可见,EASYTIER在全新POWER+IBM存储重建基础架构中的功劳依然不小啊。
IBM认为磁带还是具备其生命力,磁带成本最低,100TB的磁带存储已经研发出了原型机。IBM已经可以实现GFPS与LTFS的完美结合,以1/3功耗以及成本,提供3倍归档容量。
2013年3月IBM宣布试验液态晶体管技术用于模拟人脑进行低功耗数据处理。
……
当下,IBM有充足的技术储备把数据经济落实到全方位方案上:比如DS8870、SVC、STORWIZE FAMILY、XIV、FLASH、CLOUD、BIG DATA……。其实,还是老生常谈,依然没有看到IBM在存储方面的有所进一步的产品创新,不过,我最近听到的小道消息说:将在6月,IBM会有存储新品发布,但不知道会围绕什么用户需求的定位?谁能提前猜得到呢?(阿明)