在2015中国存储峰会的“云计算与业务连续性分论坛”上,企事录创始人张广彬分享了“云计算本是O2O”的主题演讲,反响还不错,整理图文实录如下。
张广彬:大家好,我是来自于企事录的张广彬,去年我是在软件定义分论坛做开场,讲的是软件定义存储的基本分类。这一年以来,大家见到的软件定义存储的产品有很多了,但从总的定义和分类来说,其实并没有太大的变化。今天我讲一讲偏硬件的东西,本质来说还是云计算的基础设施。
我们大家都知道云计算的领先厂商,AWS,他们从今年开始公布了营收的情况,第一次公布的时候,一个季度的营收不到16亿美元,差不多20%的运营利润,最新的季度营收已经超过20亿美金,利润差不多是25%。关键是增长的空间很大的。有比较高的利润,有想象空间,这是很多人都关注的。
国内从规模来说最像AWS的就是阿里了,尽管阿里云从产品服务的种类上来说,还不能跟AWS相比。阿里第一次在财报中单独列出云计算业务收入比AWS稍晚一点,是上一财年的最后一个财季,并没有大肆声张,真正声张是第二季度的财报,很有互联网风格,超越亚马逊,增长率很高,但实际营收还不到1亿美金。双十一之前公布新一季度的财报,营收超过了1亿美金,差不多是1亿多一点,大约是AWS的二十分之一,确实增长率很厉害,占收入的比例大概是2%~3%的样子。增长率是鹤立鸡群的,但是营收的比例占的很小,这个就有很大空间了。
今天凌晨我刚刚回到北京,昨天看腾讯在上海新开的数据中心,腾讯云也想挑战阿里云。腾讯云在昨天下午的活动中说,腾讯未来新增的服务器的50%,应该都是为腾讯云准备的。实际上这部分的发展和想象空间也是很大的。云计算确实是一个重资产的行业,这是2014年的时候,去年AWS公布的数据,每天新增服务器的容量可以支持亚马逊70%的基础设施。刚刚过去的季度亚马逊总收入是250亿美金。要想支撑亚马逊除AWS以外部分的收入,实际上按照这个速度的话,半个月AWS增加的服务器就可以满足亚马逊一年营收规模,而AWS自身要达到70亿美元营业收入差不多要一年,说明这是重投入,短期来说是低产出的行业,但是它的想象空间大。如果云计算真的把传统的IT取代了,把IBM等传统IT厂商的市场全部取代了,几千亿美金的市场,哪怕利润率降到10%也是很不错的。
重资产需要的就是服务器,谷歌从来没有明确说过服务器的数量,但是据大家的猜测很早就超过了一百万台,现在应该是两百万台。微软前年7月份宣布超过一百万台。从云计算角度来说,微软做的比谷歌要早要好,对AWS威胁是最大的。AWS一直不公布服务器,我有多少可用区,每个可用区可以放多少服务器,然后推算出超过一百万台。AWS re:Invent 2015开过之后,有一个比较大的公众号根据去年(AWS re:Invent 2014)亚马逊公开的演讲资料推算说亚马逊的服务器数量超过了三百万台。当时的演讲我在现场,这个数字显然是根据那里面比较理想的状况,比较大的数值推算的。现在根据比较可靠的推算,亚马逊的服务器数量应该超过了200万台,但是还不到250万台,可能明年就会超过了。其实在百万台的级别,应该还有Facebook,他们大约在一百万台左右,但是不能算是云计算公有云的厂商。
昨天下午腾讯的活动上,腾讯明确宣布了他们的服务器数量达到了超过50万台。百度没有公布过,推算应该是在40-50万台之间,阿里巴巴也应该是40-50万台之间。我不能为这个数据负责,但是这个估算基本上是可靠的,后面我会详细提一下。
实际上我们有一个可以参考的数字,阿里巴巴在2011年的时候,还主要是电商企业的时候,(当然)它现在也主要是电商的企业(只是阿里云的声音大得多了),服务器数量可能只有两三万台,它在这几年,基本上每年买10万台到15万台,所以说现在基本上接近50万。腾讯在2011年的时候,服务器数量是最多的,差不多不到10万台。昨天我看腾讯在青浦的数据中心有4个建筑构成,现在第一个建筑开始往里放服务器了,这4个建筑差不多可以放10万台服务器,他们用同样的方法,在广东是6个建筑可以放15万台服务器。重庆的在建设,天津的数据中心我也去过,就是前几个月被爆炸波及过的数据中心,那个数据中心可以放20万台。腾讯4个中心建筑,在青浦的,每个建筑是2万5千台,差不多一年就可以放满,但是分布在各地都有,(所以)一年10多万台的采购量是有的。亚马逊主要是AWS业务起来以后,实际上有消息说,这两三年来,每年买50万台,我们知道全球的服务器,一年的销售量不到一千万台。
服务器应该有地方放,我昨天在朋友圈里放腾讯服务器数量超过50万台这一点的时候,有人跟我说,阿里早就超过一百万台了,我们不得不说阿里比较善于公关,但是这个判断有可能不太真实。因为服务器要有地方放,从拥有的数据中心的数量上来说,还有从服务器的采购量来说,阿里都还没有那么大。
实际上来说,这就是AWS推算出来的,全球有30个可用区,最大的可用区有6个数据中心。AWS说典型的数据中心可以放5~8万台服务器,这么一算,30×6是180,再乘以5就是900万台,但这是不可能的,不是每个可用区都有6个数据中心。它在中国,北京有可用区了,但是那些数据中心不是它自己的,容量也没有那么大。
去年年初在宁夏中卫的数据中心土建差不多竣工了,百度阳泉和亦庄数据中心可以各放10万台,腾讯的说过了。阿里的青岛湖的数据中心9月初参观过,根据用电量,根据电能和空间可以算出来,大概放5万5千台。阿里在张北建大型数据中心,3月份开工,差不多现在竣工了,但是明年5月份才能投入使用。阿里张北数据中心分3期,每期放20万台服务器。
这个(NetCraft)是统计网上Web服务器的网站,这是英文的网站,今年5月份发了一篇文章以后,又专门放了一个中文版,我看该网站近期的文章只有这一个有中文版。当然Web服务器的数量不一定等同物理机的数量。“不久的将来阿里巴巴集团一半以上的Web服务器都来自于阿里云。”这里面有好处,有不好的地方,虽然BAT都有国外的数据中心的合作,但是主要的数据中心都在国内。如果你是国外的用户,又不是中国的公司在海外开展业务,用阿里云的可能性不是很大,因为在全球市场,AWS和微软的服务目前可能是最好的。从全球分布来说,比如说Facebook这样的公司,在欧洲的瑞典和美国都有自己的数据中心,AWS在日本、欧洲、美国都有数据中心,包括微软、谷歌,他们在全球分布做的很好。
(注:这里插入AWS官网上的全球基础设施分布图作为参考,其中印度区域将于2016年第二季度开通,俄亥俄区域将于第三季度开通。宁夏区域也是即将开通,但土建早已完成的中卫数据中心,未必能早于前面两个投入使用,而这与AWS在中国的发展速度息息相关……“云计算未动,数据中心先行”)
服务器需要供电,我们粗略算一下,如果一台服务器的能耗是200多瓦的话,一百万台服务器就需要300兆瓦的供电能力,相当于20万家美国家庭的平均用电量,美国人用电比咱们还是要费的。服务器多了,用电,对环保是不好的。我把腾讯云服务器数量发到朋友圈里,下面就有人说,是不是PM2.5也有腾讯的很大贡献。大家肯定要洗脱罪名。实际上在数据中心建设的领域,大家都在讲新能源,新能源对环境破坏少一些,比如说现在水电很难说它完全是新能源,因为水库也会破坏生态环境,但是风电和太阳能都是比较好的自然能源,实际上AWS,就是上个月刚刚官方宣布的,在美国中部建一个风力发电厂,实际上谷歌、美国的公司比较注重这一点,就是环保的投入。
(注:在今年10月初举行的AWS re:Invent 2015上,AWS负责基础设施的副总裁Jerry Hunter发表演讲《AWS Infrastructure Innovation》,除了公布AWS印度区域和俄亥俄区域的开通时间,还简要介绍了亚马逊的其他三个新能源项目,分别是2015年1月印第安纳的150MW风电、6月东弗吉尼亚的80MW太阳能电厂、7月北卡罗莱纳的208MW风电)
在国内的公司,包括我们知道,因为百度阳泉的数据中心我没有去过,但是它的数据中心应该在屋顶有太阳能电池板,这个满足供电的需求。昨天我去的腾讯数据中心,因为他们还在建设过程中,但是每栋建筑是六千多平米,在楼顶有三千平米以上的空间是为太阳能电池板准备的。包括阿里的千岛湖的数据中心,楼顶有几百平米的太阳能电池板。我们知道在国内,尤其是在这些大城市,我觉得太阳能还不是很可靠的电能,因为我们经常有雾霾。张召忠说,雾霾的好处可以对抗美军的激光武器,那当然也会影响太阳能。另外一个方式就是风电,在咱们北京这些地方风电也不太靠谱。如果真的刮那么大的风,就不会有雾霾了。在国内新能源也比较苛刻,现在用天然气实现供电,在国内就已经算是新能源了。
当然服务器还需要散热,大部分的电能都会转化为热量散发,美国情况好一些,因为他们空气比较洁净,谷歌开始比较早,还用一部分的水冷,就是以水作为中间的介质换热,实际上像Facebook,基本上几个大的数据中心都是用新风自然冷却。国内很难有这样的条件,其实雾霾不但人受不了,机器也受不了,所以用水冷(作为中间介质)比较多。
这是阿里千岛湖的数据中心,就是用这个水库的水抽上来做冷却,其实在杭州附近维度的数据中心,PUE低于1.3已经不错了。在国内来说,PUE做到1.1-1.3之间,已经是最高的水平了。腾讯天津数据中心也是这个水平,但是天津的纬度肯定比杭州要高,一年你用自然冷却的时间更多一些,也有利于提升PUE。
云计算需要带宽,互联网传输50TB的数据需要多长时间?你到公有云的连接达到1Gbps已经是很高的水平了,很多公司内部的网都还不是千兆,即使这样传输50TB的数据也要好几天,更何况带宽是要花钱买的。“永远不要低估一辆卡车的带宽。”数据中心很早就有容灾的需求,要把数据备份到异地,大型的企业通过专线备份数据是备不完的,我们很早把它被分到磁带,有专门的数据公司给你运送到异地存起来,因为备份的数据要存在异地,这样才能实现真正的容灾。
几年前我在华尔街闲逛的时候,还见过他们运磁带,因为那里银行很多。实际上这种思维被AWS借鉴,如果你是一个用户,你有很多的数据,你想用AWS公有云,你不想通过专线传上去,其实AWS很早就有一个导入/导出(Import/Export)服务,可以把硬盘拷上数据,然后快递给AWS,他在数据中心用高速的网络直接放在服务器,这也是线下的方式,这样也省去带宽,付一个快递费就可以了。码农们觉得这个跟拷小电影的方式是一样的,很新鲜,其实磁盘就是今天的磁带,以前递磁带,现在递磁盘是一样的。但是从去年到今年,AWS对企业级用户的争夺越来越明显。企业级的用户的数据就不是一个硬盘放得下,快递多个硬盘,拷数据其实是很麻烦的,今年出一个新产品,这就是小盘阵,裸容量是40TB。AWS一向不讲硬件的细节,只能是盘阵,不会是SSD,差不多40斤,前面有一个小屏幕。用一些压缩技术,保证容量达到50TB再高就不好保证了。就是通过快递运送的,目前指定的快递是UPS。这个发光的屏幕是Kindle,把母公司(Amazon)的东西用上了,屏幕不亮的时候也可以看到,这就是电子墨水(E-ink)。
用法就是租用的方式,可以找AWS申请,你说我要导数据,AWS通过UPS快递给你,快递给你两天之内可以到,然后你在10天之内再快递回去就是200美金,如果多用一天多收15美金,用万兆以太网连接,实际上50TB的数据应该说一天之内就能上传完毕。比如说数据很多,你有500个TB可以并联10个一起来做。
AWS很了解电商,很了解快递,所以这个东西,为了考虑对付野蛮装卸,为什么会这么重,加了很多抗震手段,加8.5G冲击,类似最先进的战斗机承受的最大的过载,比如说9个G以上就超过人类承受的极限了,硬盘在没有加电运转情况下抗震能力还是可以的,加上很好的保护外壳,防水什么的,基本上没有什么问题。
这个东西叫雪球(Snowball),雪球这个东西不怕摔或者不怕滚,或者越滚越大。国内有的公司也有这样的想法,但是没有美国人想法那么大,阵列的抗震问题就是问题,我派一个工程师护送,但是互联网讲规模,如果你的用户有很多,你不可能招一堆工程师专门当快递使,美国人做事的方式比较值得我们借鉴,我让这个东西不怕摔,用普通的快递渠道完成就可以了。实际上这个相当于一种O2O,线下把数据传过去。
我的观点就是,如果我们不去执着O2O的本意的话,只从字面角度来讲云计算就是O2O。线下资源对线上能力的支撑。
第二部分就是讲互联网和传统企业做法的融合。
你买的服务器这么多了,你完全就可以走定制化了。我估计我可能讲的有可能超时,我就不(展开)讲定制化了,最后我会给大家推荐参考文章,为什么做定制。定制很关键的一点就是要有量,200万台级别的就可以自己做了。如果按照AWS的做法的话,一年买50万台,可以超过一些国内主流服务器厂商全年的产量。如果没有那么大的量,大家一起团购,一起做一个开放的标准,2011年成立了两个开源硬件的标准。一个是Facebook在4月份发起的,他们发起的时候,服务器数量没有那么多,就是10万台,20万台,去年微软加入的时候可是百万级。微软其实也是自己做,我们就不讨论了。百度、阿里腾讯也是2011年发起的,当时他们服务器不到10万台,阿里差不多是2万台,腾讯9万多台,百度应该是4、5万台的样子,几年发展很快,都接近四五十万台了。当然,一台和一台是不一样的,腾讯的服务器,当时还有很多单路的服务器,比如说做web接入。阿里服务器数量不算多,但单台服务器价格比较高。他们(BAT)发起了天蝎项目,去年纳入国家的标准体系(ODCC)。
OCP是2014年4月份发起的,这是董事会成员,后来作为基金会,大家做开源讲究做基金会。最左边的这位,原来在戴尔工作很多年,在数据中心很有影响,当时代表Facebook,这个人是谷歌公司第一笔投资的投资者,现在在一个网络公司(Arista),这是英特尔公司,高盛可以代表传统的金融企业,云服务公司Rackspace,比Facebook少的。微软去年补进董事会,为什么那么晚还能进董事会?很重要的理由就是量大。这是今年3月份OCP峰会上公布的成员,这不是完全的成员名单,IBM是去年加入的,惠普是今年加入的,微软也是去年加入的,EMC是前年加入的,VMware加入了,但是没有logo,VMware在这里面的地位是比较高的,应该类似于金牌成员了。这些所谓的传统企业,包括很多硬件定制的厂商都加入OCP。
它的项目,最早的项目是服务器,然后是存储,就是傻柜子(JBOD),还有机架就是机柜的标准,数据中心,因为OCP的起源就在于Facebook自建数据中心。高性能计算还没有项目出来,网络一开始就有,但是真正开始发展比较快是去年,其实还有电信的工作组,电信工作组是今年正式成立的,但是还没有任何的成果,这是基金会的架构,这边是主席。
这是从2011-2014年的成果,这是数据中心,这是机柜,这是服务器,电池柜、电源,跟服务器相关的都做了,微服务器,这个是存储,就是2U的,可以放30个盘的,模块化做的很好,这是服务器。一台这样的服务器,带8个这个,双路CPU带240个硬盘做的冷存储,这是新的Open Rack,这是微服务器。为facebook省很多年。
天蝎从整机柜开始,有点像Open Rack + Server。发起是BAT,后来电信和移动,电信是2013年加入的,移动是去年加入的。顾问是英特尔。特点就是共享散热,模块化设计,六大模块,集中供电,集中散热,集中管理。集中供电和风扇可以减少部件的数量,降低采购的成本,集中了以后,效果会提升,这里就不展开了,后面我给大家介绍一系列的文章,大家可以看一看。
这是阿里整机柜的服务器,这是风扇窗,这是安装的风扇,这是集中供电,每个服务器节点没有电源,服务器可以拉出来从前端做维护,保持不断电。Open Rack只是集中供电。
天蝎1.0和2.0的机柜,1.0的时候很多地方都没有统一。
天蝎3.0就是硬件资源池化。1.0就是把电源和风扇做池化,传统意义来说,不属于IT资源,接下来存储池化,IO池化,硬盘池化相对比较简单,内存什么时候能池化?我觉得2018年从量产的角度也很难实现。
像VMware或者微软做的虚拟化本质上是一样的,CPU做一个资源池,互联网公司不想用这个虚拟化的方案,而是从硬件层面来实现,实际上理论来说损耗小一些,但是这是很艰巨的过程,短期之内,存储的时候,可能在明年看到产品,但是这个就需要软件跟得上。硬件重构以后软件要跟上。
我们从这点来看,大家的诉求都是一样的,只是大家实现的手段不一样。互联网企业采购量大,有能力自己定制这些硬件,传统的企业,更多的要在软件层面上来实现。
大家可能有一些误解,或者大家认为互联网就是Scale-out,做分布式,做横向扩展。传统企业,传统,比如说IBM之类的公司,做的是单一系统的Scale-up不断强化,有一种观点认为这两者是截然对立的,其实不是的,大家都在互相学习。
以Nutanix的超融合系统为例。这是产品的控制架构,ZooKeeper是从Google学的,后来各种方式开源,分布式集群调度,Cassandra是Facebook开源的,Nutanix做的产品是面向传统企业,但是关键组件用的是互联网思维的实现。这是横向扩展,NDFS(Nutanix Distributed File System)名字和Hadoop的HDFS(Hadoop Distributed File System)很像,Nutanix核心团队有一些人有Google的GFS背景,NDFS的资料里面也宣称是“Google-like”。就像当初比尔盖茨跟乔布斯说的一样,我抄的不是你的,咱们抄的都是施乐的。这是传统企业向互联网学习Scale-out的东西。
公有云要争取传统企业的用户,就要支持它的应用,很多企业的应用需要单一系统较大规模。比如说SAP HANA,实际上AWS之前就支持部门级的SAP HANA One,两路节点,最大的一个节点可以支持32个vCPU和244GB内存,严格的HANA的部署应该是TB级的内存,这是两路的机器做不到的,虚拟化不是把两台机器拼成一台用的。AWS在今年宣布,明年上半年会提供X1超大内存实例。实际上Scale-up和Scale-out没有绝对的好和不好。
这是2013年写的报告,我认为硬件重构主要是互联网厂商做的事情,软件定义像VMware这样的公司发起的概念,但是这是他们各自的代表,但是未来的方向,肯定是硬件重构和软件定义,在双方都要采纳这方面的部分。我很高兴看到去年华为和浪潮采用了“硬件重构和软件定义”的概念。
这有一个现成的例子,VMware提出的SDDC软件定义数据中心,把这个概念化是VMware做到的。这是广达,做服务器ODM的,给Facebook这样的公司做定制,有OCP的整机柜。 VMware有一个EVO RACK。它为了争夺Nutanix的市场,有一个超融合的系统(EVO:RAIL),规模比较小。EVO RACK是机柜机的超融合解决方案,去年是预览版,当时用的就是广达OCP硬件平台。今年改为EVO SDDC,有三个认证的硬件供应商,其中有一个就是广达。
大家可以扫描这个二维码,这是我们的公众号,你进入到公众号首页,你可以看到这个(ODCC服务器发展)报告,这个报告差不多5M多。硬件重构的报告有较多高清晰度的图片,30多M,你一搜索企事录的公众号,你可以在网络条件比较好的情况下去下载它。(中间)这个是我对互联网基础架构的分析,为什么定制,包括OCP和天蝎的对比。基本上这就是我演讲的全部内容,谢谢大家!