2020年,新基建风口已至,建设数字基础设施,打造数字产业生态是其关键与核心,而算力底座将成为其重要的运行支撑。数字化浪潮大背景下,鲲鹏计算产业生态,充满巨大的想象与发展空间。
从企业数字化转型角度来看,IT不再是企业内部系统支撑的组织,可能是对企业发展驱动的核心的竞争力。其中,基于云计算的虚拟化技术必将成为企业核心的竞争力。
近日,由山西省工业和信息化厅、山西转型综改示范区管委会、华为技术有限公司、山西云时代技术有限公司和山西鲲鹏生态创新中心共同举办了1024鲲鹏展翅“员来有你”鲲鹏程序员节系列活动-DevRun开发者沙龙,来自华为的技术专家从DevCloud、鲲鹏软件迁移实战、鲲鹏计算云平台解决方案等维度介绍了鲲鹏计算产业。
据山西云时代鲲鹏生态创新中心有限公司副总经理张骅介绍,此次开展基于鲲鹏创新体系的活动,是为了向参加鲲鹏生态的企业、人员和学生提供专业化的服务,包括鲲鹏计算资源、软件产品适配构建和应用代码迁移等公共服务,共同推进基于鲲鹏生态研发的企业应有创新及软件项目孵化活动。
目前,山西云时代鲲鹏生态创新中心正在建立鲲鹏适配区域和认证实验室,以及一体化培训创新中心,预计在下个月就可以投入使用。
做自主可控的中国版Devcloud软件生态
软件定义一切,所有的公司和企业、组织都必将面临数字化转化之路。
当然,数字化时代最典型的一个技术特征就是云计算。华为云DevCloud产品部山西软件开发园高级架构师江玺指出技术层的两大发展阶段:第一是资源层云化,当前山西正处于这个阶段;第二是交互云化,主要分为技术栈和业务云化。
企业业务上云是为了快速响应业务需求,在“云化”的过程中,需要解决业务上线慢、无弹性等技术挑战。
为了解决这些问题,Devops应运而生,用于促进开发、技术运营和质量保障部门之间的沟通、协作与整合。一方面, 让企业能够专注自己的业务,把信息化做得更加便捷;另一方面,实现企业组织、文化和人员的转型。
经过多年的实践,华为于2015年提出了基于云的DevCloud工程方法论。在DevCloud逐步成熟后,华为开始向业界赋能,目前DevCloud已有大约有敏捷项目管理、代码托管、移动应用测试等70个服务,江玺对部分服务的技术特性做了详细介绍。
DevCloud目前完全支持鲲鹏生态,已在全国20家城市以及大量高校做了生态孵化。鲲鹏生态不单是企业移植的底端生态,而且完全支持已开放的技术。现在鲲鹏生态主要是两类,一类是合作伙伴的CIP、CII等认证,另一类是专家服务。
当前,随着国内软件系统的复杂性不断增长,用户群体及开发者规模日益增大,需构建开放多样、安全的可控的软件生态,以保证软件系统的可持续发展。华为目前在做的DevCloud生态孵化,有望助力国内软件生态进一步向前迈进。
江玺称,现在整个华为DevCloud产品部做的最大动作就是企业可信,华为要做自主可控的中国版软件生态。
鲲鹏软件迁移和鲲鹏展翅认证
处理器指令集的差异,使得原来运行在x86的程序可能无法直接在鲲鹏平台运行。鲲鹏开发套件则可以帮助开发者扫描分析源码/软件包,识别修改点,协助开发者完成软件迁移。
具体如何来做?鲲鹏计算产业部迁移调配工程师冯茂柏主要介绍了三大类的迁移案例:SO库、Maven工程和Python工程。
在软件迁移中,冯茂柏称,在定义到不兼容信息以后,鲲鹏会通过查找依赖源,在平台上进行编译安装。如果找不到源码或者是商业源码,只能替换成其他源码;如果没有找到替换源码,可以尝试屏蔽它的模块。
此外,如果认可鲲鹏软件迁移的能力,还可以申请鲲鹏展翅认证。
华为为什么要做鲲鹏展翅认证? 鲲鹏展翅伙伴计划的战略布局是“一云两翼双引擎”,一云基于华为云,两个引擎是计算和伙伴认证。其中,鲲鹏展翅认证是为了更好地构建共享的鲲鹏生态。
鲲鹏展翅有四种类型的证书,主要分整机和芯片两类,包括Compatible的兼容性认证、Mutual Compatible和Validated的技术认证。认证时,不同层次的注册会员获得的权益不一样,要求也不同。
值得注意的是,认证过程中的关键环节是测试报告,需在做迁移后生成并提交到认证流程里。以前需要在模板里填写相关的测试用例,但现在开发了在线测试工具,只需提供交付件即可。
测试报告在线生成平台:http://ic-openlabs.huawei.com/openlab/#/testreportstate
华为鲲鹏计算的15个加速库
华为鲲鹏计算加速库是华为公司围绕鲲鹏处理器进行性能优化后的软件集合的统称,包括硬加速和软加速两部分。目前华为已经完成15个加速库的开发,典型应用包括GKL基因测试、Web中间件Nginx及分布式存储、大数据、视频的转码、OS基础库等领域。鲲鹏计算产品部高性能软件开发工程师郭达对对此作了详细介绍。
软件加速库包括有Glibc、HyperScan、AVX2Neon等基础库的加速库。硬加速方面,鲲鹏做的是KAE加速引擎,主要基于鲲鹏芯片上的SEC、HPRE等硬件加速模块。
硬加速解决方案的主要应用场景有四个:第一是Web应用,在报文发送过程中会涉及到加解密的过程,使用硬加速方案,整体性能做到30%+的提升;第二是大数据的解决方案,对比CPU的性能损耗,可以做到损耗小于5%的性能优化;第三是分布式存储,如混合读写带宽方面,能够做到40%的性能优化;第四是可以支持SR—LOV的直通场景。
软加速方面,郭达详细介绍了AVX2Neon、媒体加速库、数学库这三个常用的加速库。其中正在 开发数学库的数学库包括以下软件包:第一是BLAS库,这是一个基础的线性代数库;第二是Libm基础数据库,主要提供三角函数等数学运算的接口;第三是FFT,在信号处理以及图象处理应用比较广泛,主要是进行傅里叶的转换;第四是VML,对标量的数据进行运算。
如何获取加速库里软件包?主要途径有两种:第一是硬加速,主要是KAE的软件包,提供给客户RPM的源码包,在华为云上提供相应的下载链接,在鲲鹏社区也有相应的源码下载链接,可以进行下载编译;第二是软加速,华为在鲲鹏设计上提供了每个库的介绍,以及相应链接,可进行相应源码下载。
鲲鹏计算云平台的优势
众所周知,PC时代对算力和网络要求不高,端侧算力、数据中心用的是X86服务器,采用的是固定网络,对算力和网络的要求不高。进入移动互联网时代后,加入手机ARM智能终端测算,出现网络虚拟化和SDA。另外在数据中心,开始部署了云服务。
如今,5G、人工智能和大数据等新技术层出不穷,开始基于IAAS、PAAS等平台部署应用。
鲲鹏计算解决方案虚拟化软件工程师华江涛介绍,传统行业市场基于KVM技术构筑了IAAS平台,比如通过华为鲲鹏服务器的硬件在Host OS、Hypervisor层做虚拟化。这样做的优点是,提高了物理机的CPU内存和IO资源的利用率,提高了可用性,增加了负载均衡、动态迁移和自动隔离等功能。
互联网行业基于Docker容器技术构筑了IAAS平台,采用微服务的形式,不仅满足了大规模分布式快速上线的需求,而且加快交付速度,提高了性能和并发性。
总体而言,从最早的单体架构,到后面SOA架构,随着应用规模还有数据要求的不断提升,现在的趋势是微服务架构。
基于此,鲲鹏计算推出了支持开源OpensStack+KVM的云平台。基于鲲鹏服务器在计算、网络、存储三方面做了虚拟化。对KVM虚拟化平台性能优化方面,华江涛从硬件参数调优、操作系统调优和虚拟化调优进行了介绍。
值得一提的是,鲲鹏的多核计算架构适合弹性云平台,CPU可达64核+的多核计算架构,资源池大、整机性能高;其虚拟机基于物理核构建,VM隔离性好,性能更稳定;鲲鹏的整机虚拟机密度更高,可减少需要部署的服务器,节省支出。
总之,从生态使能、性能、支持混合部署等维度出发,鲲鹏云平台对于业内正在推进数字化转型的公司都是一个不错的选择。
产业生态的构建从来离不开企业各方的努力,也离不开开发者的支持。本次活动与开发者深度探讨了鲲鹏计算产业的生态基本情况及其相关技术架构,这将进一步为鲲鹏计算产业生态的构建打下坚实基础,进一步加速推进鲲鹏计算产业的发展。