解密标准性能评估组织SPEC:我们并不是一个高冷的机构

SPEC峰会通常是内部闭门会议,为何今年首次在中国召开变成了开放大会?SPEC亚洲峰会在中国召开背后又意味着些什么?

在服务器硬件水平趋向同质化的情况,是否会降低SPEC Benchmark测试的意义?

SPEC的未来技术发展方向是什么?要如何去进行发展?SPEC技术委员会又是如何运作的?

2016年10月27日,SPEC亚洲峰会(暨全球计算机系统标准性能评估组织2016年度技术峰会)首次登陆亚洲。27日下午,SPEC总裁 Walter Bays、SPEC秘书长/SPEC CPU委员会主席 Jeff Reilly、SPEC 开放系统委员会主席 Steve Realmuto、SPEC Power委员会架构师 Jeremy Arnold、浪潮集团副总裁胡雷钧就上述问题与记者展开了探讨。

SPEC并不封闭,也希望有更多中国伙伴加入

中国市场是一个很大的市场,并且发展非常迅速,在SPEC的技术性报告和相关的媒体文章中,有25%内容都是在中国产生。所以中国市场对SPEC来说越发重要。

解密标准性能评估组织SPEC:我们并不是一个高冷的机构

SPEC总裁 Walter Bays

其实SPEC是公开的,SPEC想进行国际化的交流,而且像在SPEC开放系统组,我觉得比其他的小组都更加的公开更加的国际化。SPEC的会议是倾向于向公众开放的,至于说到闭门会,确实SPEC是有一些闭门会,这主要是方便工程师之间能够进行一个深入的技术探讨。所以,其实SPEC是鼓励来进行更多的开放交流和接触的。尤其是那些对SPEC工作感兴趣的人士,SPEC非常欢迎跟你们进行公开交流,至于闭门会议只是少数另外的情况。

解密标准性能评估组织SPEC:我们并不是一个高冷的机构

SPEC 开放系统委员会主席 Steve Realmuto

我觉得SPEC组织来中国是一个标志性的事件,这标志着未来还会有更多的国际标准组织,会把更多的会议,尤其是计算机服务器领域里面的会议在中国召开。因为我觉得SPEC中国的整个市场权重已经足够大。

浪潮从2004年开始提交第一个测试结果,一直到2014年加入SPEC组织,这中间过了十年。但是从2014年到现在,无论是应用还是参与他的活动就已经变的非常密切了。这里面实际上还有一个潜在的问题,浪潮是一个跟随者,跟随者就是要有融入的精神。首先要了解原有的体系,了解他这里面的逻辑和他的构成,了解他的运作规则和他的游戏规则,了解他从架构层面到细节层面的框架。在这个基础上你才能说我应该怎么办,我应该怎么表达我的诉求。这个也是一个开放的心态。

还有一个问题,我觉得中国的标准和国外标准对接的问题。无论是行业标准、工业标准、大家约定俗成的标准、政府法律层面的强制标准,我们要接受这个。当然中国也有自己的标准,标准之间的协作,互动和相互理解,求同存异在整个的过程中都会存在。关键还是要有一个开放的心态。一个通用的,或者得到广泛认可的标准,就像今天早上国家标准研究院提的一样,标准首先是一个合作的体系,包括SPEC组织的运作精神,我觉得里面是一个合作的精神。

解密标准性能评估组织SPEC:我们并不是一个高冷的机构

浪潮集团副总裁科学家 胡雷钧

SPEC并不高冷,需要分层次解读

不同的基准主要是满足不同的需求,SPEC也有对客户端、工作站CPU运算性能测试的工具,SPEC CPU委员会也在不断的提升自身对运算性能的测试能力,不断产出新的基准测试方法,并且还要加强这方面的技术研究工作。也欢迎更多对此感兴趣的专家和用户加入SPEC,提供这方面的技术发展。

对于Benchmark来说最重要的,不仅仅是要关注今天所进行的测试,更重要的是要关注未来SPEC所需要进行的测试。

当低端产品出现性能瓶颈的时候,SPEC会推出例如高性能计算以及明天将要介绍的Cloud IaaS等更高层次测试标准。测试标准是随着应用需求驱动在不断更新,不停的产生新基准测试的一个过程。

解密标准性能评估组织SPEC:我们并不是一个高冷的机构

SPEC SPEC CPU委员会主席 Jeff Reilly

协商讨论,汇总求真

在基准的开发过程中,SPEC是有很多需要考虑的事情。首先委员会确定下一个目标:要测量的是什么,需要有一个什么样的代表性结果。然后就会由大家来决定进行什么样的开发。SPEC会进行一个整体的控制,比如像SPECpower、SPEC CPU等等这一系列都是由SPEC的会员进行协商后做出的决定。另外,像SPEC CPU是一个局部应用的基准,最后能够提供SPEC的原代码。这就牵涉到设计的不同标准。还要考虑到,由设计到测试方案,要经过多长的时间才能够到达终端用户手中。这个问题明天在SPEC的圆桌会上也会再次与大家共同进行讨论。

SPEC会收集很多的信息,然后SPEC的会员会进行一个评估,我们会收集SPEC组织内和SPEC组织外的一些成员反馈,然后再进行一个投票,在投票取得一致的基础上再进行下一步的工作。如果说SPEC的小组委员会不能获得一致意见的话,那么指导委员会就会来看一看到底是什么样的情况,到底是有哪些分歧,最后能够有一个求同存异的结果。这中间牵涉到大量的辛苦工作,有一些工作是由志愿者来完成的。最后SPEC会有一个达成一致的结果。这也是为什么SPEC在CPU2006出来之后经过了这么长的时间,是因为SPEC开发这个基准是需要时间来进行反复的实践认证,我认为CPU2006是一个很好的基准。确实,进行基准开发时,是需要过程和时间的。

解密标准性能评估组织SPEC:我们并不是一个高冷的机构

SPEC Power委员会架构师 Jeremy Arnold

公开、公平保障SPEC的公正权威

SPEC是一个非盈利的组织,主要是靠会员的会费,还有就是SPEC的Benchmark许可证的费用。开发这个Benchmark,然后能够让SPEC的会员去运用这个Benchmark,或者是有人来购买许可运用这个Benchmark,和发布相关的结果。他们必须是要遵从SPEC Benchmark的规则来进行结果的发布,发布结果可能会收取比较少的费用来抵消SPEC的成本。另外这个Benchmark独立发表的话需要获得一个许可,比如说如果要发布一个CPU计算性能结果的话,SPEC需要获得并确认一些测试相关信息后,才能够允许他发表在SPEC的官方网站上。

此外,发布在SPEC网站上的结果,对于所有的网站阅读者来说都是不收费的,可以免费获得。在这方面,媒体就会发挥非常重要的作用,就能够帮助SPEC的读者去理解,去告诉他们,这些结果的意义是什么。因为SPEC有成千上万的测试结果。

SPEC接受不接受捐赠,这要看这个捐赠会不会影响SPEC做决策。比如说最近SPEC接受了一个做电源测量公司的捐赠。主要是一些设备,因为这个既不会影响SPEC的决策,也可以提升SPEC的测试环境。

SPEC的会员公司也好,SPEC的会员学校也好,SPEC会员政府机构也好。他们有时候做出的贡献,或者捐助,并不是以钱的形式。像浪潮公司对SPEC来说,确实他们缴纳的会费是SPEC资金来源非常重要的部分。但是,对于SPEC来说,他们所提供的资源是最重要的。他们的工程师所花费的时间精力,花费在开发方面的时间精力,对SPEC来说是最大的贡献。所以这方面的贡献,也是对SPEC来说就是最宝贵的捐赠。