跨越“朦胧期”的云计算:产业、核心技术、生态圈以及突破点
吴朱华 发表于:13年07月22日 15:00 [转载] DOIT.com.cn
吴朱华是《云计算核心技术剖析》一书的作者,他认为,目前云计算的技术已经度过了的最初的“朦胧期”,业界已经找出一些核心的突破点,铺以重兵攻坚。但发展中也存有一些争议点,值得讨论。
核心技术突破点
从云计算的技术层面来讲,整体的IaaS,SaaS和PaaS的架构已经足够清晰,但是还有几个点仍然存在一定的技术难度,就像Tesla所用到核心技术,非5-10年的功夫是无法攻克的,所以他认为,这需要集结业界的力量一起来努力。
云计算的安全性
谈到云计算,安全性永远是最热的话题之一。由于这个点牵涉甚广,所以文章只关注了两点:
首先是数据中心网络的安全性,最典型的例子,莫过于云计算最有知名度的Amazon Web Service服务,最近几年其几次大型故障都和网络有关,特别是其基于局域网技术的云硬盘服务EBS。多位业界网络专家认为其路由器的Oversubscribe(超卖)和网络配置无法应对(比如网络控制信息方面的流量会有波动)是整个问题的关键。如何解决好这个问题看来还需要进一步的实践和创新。
其次是虚拟机本身的安全性,其实在虚拟机的发展之初,其实各个技术主要关注首先绝对是性能,比如当时Xen虽然上手其为复杂,但是由于其本身的半虚拟化的架构,使得其在性能方面,长期稍强于VMware,并拿这点作为其长期的谈资,但是随着各方面程序的优化,特别是硬件虚拟化技术的引入,其实在性能方面,各方面都已经接近均势,并且大的优化空间也不多,所以虚拟机的安全性很有可能将会作为今后的主要考量之一。据一些行业IaaS云供应商的反馈,Xen本身有严重的漏洞,通过这个漏洞,虚拟机里面的程序可以直接攻击到物理机本身,并且KVM也有类似的问题,比如KVM直接有两个IO端口可以和QEMU通信,所以虚拟机的安全性还有待完善。云安全绝对是一个需要重视,并且需要花大力气的领域。
数据中心大二层和SDN
吴朱华曾经走访了几家做私有IaaS云的厂家,根据沟通,这些厂商面对最大的技术挑战,基本上都是“网络难配”,主要有三个方面的原因:其一是现在云服务多个节点之间需要连接大量内部的通信,最明显的例子就是Hadoop,当集群大小超过千台时,网络会成为比IO更大的一个瓶颈;其二是虚拟机各节点只能在同一个二级网段内才能进行非常重要的动态迁移;其三是每个虚拟主机都会运行十个以上的虚拟机,这会导致过一个网段内实际所需要承受的机器数量和具体流量都倍增。这些因素都导致数据中心网络从之前对外为主的南北向,慢慢转为以内部为主的东西向,同时数据中心不得不出现大二层的现象。为了解决这些问题,网络界推出了各种解决方案,包括将路由能力带到二层网络的TRILL和FabricPath,用于识别虚拟机流量的VN-Tag和VEPA,用于二层互联的VPLS和OTV。最后就是号称改变整个网络世界的SDN(软件定义网络)。对于这些技术,吴朱华认为的确能让现有的云服务,特别是IaaS层在技术层面有一个质的的飞跃,但是整体成熟度和成本要下降到一个让大家都满意程度,显然并非易事。
OpenStack完整的生态环境
2012年云计算的业界,如果说只有一个“明星”的话,那绝对是OpenStack莫属,和之前的IaaS开源项目CloudStack、桉树(Eucalyptus)等不同的是,OpenStack强调的核心是生态圈,并且它的生态圈还有两个特色,其一是模块众多,它不仅有传统用于虚拟机的模块,而且它还有提供云存储模块Swift,以及用于虚拟机镜像管理的Glance,另外还有最具创新型的网络模块Quantum;其次,整个圈子里面初创公司极为活跃,不仅国外有已经被VMware以巨资收购的Nicira,国内的九州云还有UnitedStack都做的有声有色。虽然表面而言,OpenStack生态圈“歌舞升平”,但是吴朱华认为还是存在很多隐患,最重要的就是缺乏一个领军的企业来引导,光靠一个“松耦合”的社区的确还有点难度。
Hadoop的生态圈的完善
虽然业界各种五花八门的Hadoop用例让人有点疑惑,但是Hadoop社区的确在最近几年混的“风生水起”,通过Cloudera和Hortonworks这两大巨头推动,并且再加上类似淘宝云梯这样案例不断成熟,使的Hadoop快成为业界标准的大数据服务平台。同时由于MapReduce这样新的编程框架,使得传统的基于关系型数据库的周边工具都无法继续使用,所以一些新的周边工具不断推出,包括用于数据流支持的Pig,用于SQL解析的Hive,用于日志收集的Flume,用于ETL的Scribe,用于实时分析的Impala等。不过对于Hadoop这个生态圈,吴朱华也表示有些疑虑,虽然和OpenStack生态圈相比,表面上有两大巨头的支持,但这两大巨头各怀鬼胎,而且其整体所需要投入的工程量和OpenStack相比也是不相上下,希望两大巨头能抛弃成见,齐心协力。
NewSQL的兴起
前几年谈及NoSQL,虽然其伸缩性不错,但因为其不支持完整SQL语句,使得其学习成本变得很高,所以吴朱华认为既能伸缩、又能支持SQL的NewSQL兴起再所必然。大家想起的NewSQL,一定是MemSQL或者SAP HANA等这类初出茅庐的新型基于内存的数据库,但是其实在NewSQL方面,最强大的始作俑者绝对是研发出MapReduce的Google,虽然其最初整套用于半结构化数据解析的索引构建模块是基于MapReduce的,并且研发了著名NoSQL技术BigTable,但是随着它业务的需求和对性能等方面要求的不断提升,在技术方面,它做了优化和转型,基于现有公开的资料,主要两部分,其一在索引构建和OLTP方面,Google以BigTable为基础发展出可以对大数据集进行增量更新的Percolator系统以用于索引的构建和服务,同时也在BigTable基础上,推出用于分布式海量OLTP的Megastore和F1 Spanner,并且他们分别被用于Google App Engine的Data Store数据库服务和Google的现金牛广告服务,同时在OLAP方面,它推出有点类似MPP列式数据库的Dremel,通过Dremel这个系统能够构建有千台规模的分析集群,并能快速地对PB级别的数据进行处理。无论是F1 Spanner还是Dremel,它们在伸缩性方面都非常不错,并且在语法上面支持一定的SQL语句,吴朱华认为它们绝对是NewSQL的典范之作。不过现在NewSQL界,真正有实力的公司和产品并没有出现。
争议点
虽然上面提到了很多关注点,但是在吴朱华看来,还是存在很多争议点,就像梅西和C罗各有各自的优点,还需要进一步讨论才能分出优劣或者各自适合的场景,只有通过这样的讨论,才能帮助大家抓住关键点,从而引发质的飞跃。
OpenStack 还是 CloudStack?
其实,OpenStack和CloudStack虽然其提供功能大体类似,但是吴朱华认为它们在核心理念上是大相径庭。CloudStack本质是产品的思路,也就是通过这个产品能够非常快速地构建一个提供IaaS服务的私有云,并且通过其主要用户Zynga的使用来进行逐步地优化;而OpenStack则本质是一个生态圈,就像上面提到的那样,里面有很多公司和团队参与,并且功能强大的模块很多,可惜实际的案例不多,特别是大规模的部署。那么到底OpenStack模式还是CloudStack模式会成为未来IaaS云计算的主流,其实很难判断,但最近一年,如果使用OpenStack来构建一个大型IaaS云,吴朱华认为至少在整体项目的技术支持上,还缺乏一个能全面理解OpenStack的团队。
结构化数据,Hadoop适合吗?
首先,虽然现在Hadoop使用面很广,包括类似OLAP的结构化数据分析,但是其实Hadoop这样MapReduce的框架,最初的需求主要是用于类似网页这样的半结构化数据的处理和分析,而且MapReduce这样暴力的方式也特别适合类似地理数据和视频这样非结构化数据。同时虽然现在有类似Hive这样的解决方案,但是基于吴朱华最近几年底层的收获和一些朋友反馈,Hadoop在处理结构化数据时,无论是处理速度,还是处理成本,都和基于列式存储的NewSQL数据库无法接近的。另外,虽然Cloudera推出用于准实时分析的Impala,但是由于其重写了极为耗时耗力的SQL解析引擎,所以吴朱华认为等它全面支持SQL语句那天,还为时尚远。综上所述,诚然Hadoop能做对结构化数据的分析,但是否合适,这就是一个仁者见仁,智者见智的问题。
GAE,还是Cloud Foundry?
虽然PaaS这个名词在2012年比较沉寂,但是Cloud Foundry和GAE(Google App Engine)都有一定的进步,Cloud Foundry有了更多用户,GAE又发布了新的版本。争论的核心是Cloud Foundry和GAE在方向性上面的差别比OpenStack和CloudStack更大,在他看来,Cloud Foundry核心是快速地部署,快速地开发,支持各种编程模式和灵活地使用,而GAE的优势是通过它分布式的架构能快速伸缩,并且能够最大限度地进行超买,从而在一定用户规模的基础上实现较大的盈利,但是初期构建成本比Cloud Foundry高的多,所以吴朱华认为Cloud Foundry这个方案比较适合私有云,而GAE更适合公有云,具体今后的PaaS届谁会成为潮流,这个还很难说。
SDN有需求吗?
就像前面所说的那样,SDN是一种新兴的控制与转发分离并直接可编程的网络架构,并且号称可以改变整个网络世界。对于这种大的颠覆,首先,在技术层面,吴朱华认为是有发展的前途的,这估计也是VMware花巨资收购Nicira的原因之一。但是在实际应用方面,是否能找到“Killer App”也是核心的关键,虽然有资深专家表示网络虚拟化,安全等方面会存在这样的需求,但还是需要一定的时间来进行检验。
云计算是否需要API规范?
谈及争议点,因为在云计算API规范方面,吴朱华也是国内最早涉及的人之一,并且他非常推崇用于虚拟镜像分发的OVF规范,同时也是国内最早为其撰文推广的。不过对于这个争议点,吴朱华谈到了两方面:其一,业界是否需要公共的API规范?其二,如果需要这个规范,业界会更多地采用来自专业的,经过多方流程思考的DMTF(分布式管理工作组)的规范,还是更多地借鉴一些成功产品现成的API,比如现在很多云主机服务所提供的API基本和Amazon EC2所提供的基本一致。吴朱华认为,现在还处于云计算初中期,硬推行一种规范,成本就有点高,并且有可能会阻碍创新,然而具体使用DMTF还是其他的,应该都可以。
最后,吴朱华表示,云计算和大数据本身就是下一代的技术,能在很多方面解决现在用户和企业所遇到的痛点。但是如果业界没有人专注核心的技术点,并且解决某些有争议的问题,那么整体技术将会陷入不断“Reinvent the wheel”的阶段,就会驻足不前。