云管理平台(CMP)功能设计和实践解析

CMP(Cloud Management Platforms)近两年来被业界广泛提及,但因为其市场较新,加之不少企业对 CMP 平台建设存在较多认知误区,所以本文将以一项典型技术实践来打开 CMP 发展中的「黑匣子」。

CMP 的定义和发展方向

如何定义 CMP

随着公有/私有云、云原生及底层基础架构的日趋复杂,企业级应用流程管理和云管理平台的诞生和发展显得迫在眉睫。

Gartner 将云管理平台( CMP,Cloud Management Platforms) 定义为一种管理公有云、私有云和混合云环境的整合性产品,其主要功能范围包括多种基础架构和资源的整合,跨平台的编排,以服务目录方式展现的自服务界面,资源访问管理和流程配置,资源统计和费用管理,以及与外部已有的企业管理系统集成和对接等。

为了更好地管理资源,Gartner 对云环境进行了分层,主要包含三层:

——资源层:包括各种计算、网络,存储等基础设施,也包括虚拟化、SDS 等

——云架构层:提供用户 API 及其它软件使用,使其可以管理、申请和使用云资源,包括 vCenter,OpenStack,CloudStack,AWS 等

——云管理平台(CMP)层:企业用户用来利用企业云基础设施的管理平台。终端用户在 CMP 层上进行操作,然后 CMP 层将指令发给其下一个或多个云平台,云平台又发送指令给下面的基础设施层。

CMP 在云计算体系中扮演着「承上启下」的角色,它向上承载和支撑了各类行业应用,向下进行资源的管理和调度,包括异构资源。

企业 IT 架构管理面临的挑战和 CMP 的对策

目前,企业 IT 基础架构呈现出分布式的、物理资源与虚拟资源并存、不同厂商和制式的软硬件普遍共存、传统业务和新兴互联网业务共存的复杂状况。业务数据和应用程序跨多云、产品迭代快等对云管理、灵活的 IT 资源提出了更高要求。而现实是,企业 IT 基础设施运维、应用部署仍然依靠人工操作、纸质工单流转,IT 资源监管困难、利用率低、交付周期长,很难满足业务发展的速度,资源回收也成为一个难题。

Gartner 的调研指出,大多数声称已部署了私有云的国际企业,80% 的私有云实现主要是 IT 基础设施的虚拟化 + 自动化和自助服务。

所以归纳而言,CMP 的发展方向包括了:增强自动化部署减少手工操作,回收休眠资源,减少硬件采购、资源按需使用,标准蓝图部署应用、混合云资源统一管理等几大维度。简而言之,CMP 需要通过自动部署和智能调度实现动态和弹性,另外也需要对监控、告警等一系列运维流程保驾护航,提供安全、自助式服务。

SmartCMP 的诞生与迭代

在 CloudChef(骞云科技,以下均简称“CloudChef”)创始人 &CEO 方礼看来,尽管现阶段虚拟化和私有云「遍地开花」,但对于自动化部署的增强,摆脱原始的交付模式,将底层 IT 资源更为高效快速地利用,还需要云管理平台的统一管理,从而优化云的使用效率和流程。CloudChef 的创始团队们也看到了这些痛点。

正所谓“异构虽好,管理不易”。CloudChef 的 SmartCMP 即在上述背景下而诞生。

目前国内业界涉足 CMP 的主要分为几大阵营:

一是以 IBM、思科、RedHat 为代表的外企,其在产品的本土化方面一直存在短板,与国内通用的公有云平台及软硬件对接存在硬伤;

二是以硬件起家的大企业,其更多的是管理自身资源,构建以硬件管理为核心的平台;

三就是像 CloudChef 这类创新企业,主攻差异化且专业的云管理产品和服务。

凭借多年的行业经验,方礼知道,SmartCMP 的定位一定是以开放的形式管理异构环境,要更侧重软件上层流程化、自动化的管理。从私有云扩展到公有云、混合云管理,更多地面对传统企业,帮助其解决云管理整套流程上的技术或工程效率等痛点。

从 2015 年年末开始着手研发发展到今天,SmartCMP 历经了 V1.0 到 V3.0 的三次迭代升级与发布。

SmartCMP 系统架构对数据库选型的更换,更好地满足自身架构的扩展以及客户对数据库运维的要求。

在编程语言的选型上,从原先的单一语言到现如今的多语言,使得开发和运维流程更为高效。

1.0 版本支持私有云,主要解决将单一的虚拟化平台转变为可自主服务的私有云管理平台;2.0 版本加入了对主流公有云(包括 AWS、阿里云、腾讯云等)以及容器的支持;3.0 完善了更多功能的支持。从私有云管理走向混合云管理,实现私有、公有云的一体化编排与资源发布。

产品功能从开始的资源纳管和划分,虚拟机以及应用的自动化部署,到自动运维,再到现在的全生命周期管理、监控管理、策略分析和成本控制等全套解决方案。

SmartCMP 产品架构图

在迭代和演进过程中,方礼重点谈到了他的两点经验收获和经历的故事。

1、数据库的变更和切换:SmartCMP 最初的数据库选型在实际落地应用中发现,大批企业(尤其是传统企业)所用的数据中心存在较多的安全和隔离的要求,导致这些企业无法接入更好的技术手段进行运营维护。所以在之后的版本中,SmartCMP 改变了数据库的选型和架构。

这个转变过程使方礼意识到,面对不同的企业级客户,技术的选型和采用并非需要不停地超前或瞄准最新的那一队,适应用户、融入到使用者的定位体系中,才是构建整个平台架构的基础。

2、对于传统企业,CMP 的意义不是单纯的云管理,其落地的场景一定存在较大的差异化:可能是建构 IaaS 平台,可能是设计及搭建开发测试云和混合云,亦或从集群运维拓展到 IT 运营中心或云服务中心,成为加速用户体系技术层的驱动力。所以在这种需求的演变中,方礼总结,SmartCMP 的解决方案也需要更多维化:从管理、监控到分析,再到运维的整体解决方案,不同的用户使用场景就有不同的落地方式。但核心研发一定是聚焦在核心产品线上,从而助于落地解决方案的成熟化。

让 SmartCMP 更加 Smart 的技术思路

随着微服务、云和容器化架构的出现,构建系统的方式与以往相比发生了翻天覆地的变化。同时,底层的基础设施和网络服务愈加健壮,应用程序层一方面需要跟上技术的发展步伐,另一方面多转为分布式,面临的挑战也瞬息万变。同时,运维环境的异构和复杂化,导致日常运维工作需要付出的人力、时间成本越来越高,于是运维需求也逐渐向自动化甚至智能化过渡。

方礼在采访中谈到了四个企业云架构的新特点,其中包括:

——SDDC 的发展,基础架构日益复杂;

——分布式应用,微服务,让应用部署监控更加复杂;

——跨地域跨城市,多数据中心;

——公有云的使用日益增多。

企业 IT 基础架构运维的工作量及工作难度大大增加,对运维人员的技术水平要求越来越高、运维团队规模不断扩大,企业即使不断加大在运维方面的投入依然无法满足快速变化的需求,IT 反而成了业务发展的制约因素。在 CloudChef 曾经服务过的众多客户中,这样的情况不胜枚举。

SmartCMP 在最开始圈定的定位就是以应用为核心,使其自身变成整个应用的交付管理平台。

SmartCMP 能够在部署和管理时清晰地定位整个应用所依赖的资源和运行状况:通过对网络管理、分析管理等不同层次信息和内容的整合和分析,从而确定、展示应用和组件间的依赖关系、虚拟化资源和物理资源的依赖关系以及虚拟化网络和应用之间的依赖关系等。简而言之,方礼认为,将各种异构的、多层次的信息交由软件进行统一分析,能帮助应用在大规模环境和分布式环境下实现更加快速的故障定位和分析。

方礼总结道:CMP 的核心是要将原先的以运维人员为核心的运维转变为以用户为核心的运维。实现 Self-Service(自主服务),即让平台自动化地管理和运行执行计划,并根据特定的策略、场景决定是否需要特殊的手工操作或人工审批,最大程度减少或简化人工干预的过程。用自动化程序代替运维人员,能够在最少的人员干预下使用故障探测技术寻找业务运行中的故障点、定位故障根源寻找解决方案,并能够自动运行预制脚本与工具尝试进行故障的修复、预测潜藏隐患及制定预案。

SmartCMP 通过对底层资源进行更好的封装和对资源选择、自动化交付的优化,也正向未来的智能化运维不断迈进。

为了让更多非专业的运维人员、数据库管理员能快速上手 SmartCMP 平台,CloudChef 也实践了两项技术创新:

——通过可视化应用蓝图,抽象底层的复杂基础架构,减少对专业知识的依赖;

——通过角色分类,把专业的运维人员的知识变成客户重复使用的自动化逻辑,让普通用户也能够根据情况申请各种云的资源和应用。

在从纯手工操作到 Self-Service 的转变中,同时也需要改变整个企业的流程和架构。

因此方礼总结道,IT 智能化(无论对于传统企业亦或互联网企业)既是一场技术维度的变革,也是一次管理理念上的革新。

SmartCMP 未来定位展望

随着 SmartCMP 的成长,CloudChef 从客户服务的实践中也总结了很多。方礼谈到,他们最大的经验收获就是如何更好地去引导客户需求。尤其是面向传统企业,全云化的世界已然形成,那么如何让其接纳更为创新的技术解决方案,通过新的技术去改变其整体 IT 运行效率和能力体系,SmartCMP 一直在通过持续的快速迭代和创新开发来引导实践。

未来,SmartCMP 平台计划是更多的向上层发展,加强对应用支持,提升分析的效率和能力。同时,公有云的渗透普及也需要 SmartCMP 对公有云支持提供更多样化和更好的完善。此外,方礼还谈到,今后 SmartCMP 会是混合云落地的关键平台,除了管理更多的公有/私有云,其还会在平台的扩展性和可配置性上做进一步技术演进,从而适应不同客户场景的需求。

2017 年中的时候,CloudChef 获得了云启资本领投的 A 轮融资。在该轮融资后,其主要规划,一是继续增强对产品研发技术的直接投入;二是增加市场投入,构建其全国技术支持的布局。方礼说,不管是私有云/混合云这一亩三分地,还是整个技术变革的浪潮,市场和客户的需求都在快速变化和增长。真正的技术公司,是需要用技术推动客户的认知,用技术推动整个市场的发展,所以 SmartCMP 要更智能,并在不同的行业场景深耕落地,才能更好的引导或引领用户。