支持“中国芯”,极狐GitLab助力AI芯片企业DevOps体系建设

根据Forrester预测,全球AI制造平台产值到2025年将达到130亿美元。并将成AI软件第一大细分市场。AI芯片行业正在全球迎来春天。

(资料来源:《到2025年全球人工智能软件市场将增至370亿美元(The AI Software Market Will Grow To $37 Billion Globally By 2025)》)

另一方面,据研究机构赛迪顾问报告显示,从 2019 年到 2021 年三年中国 AI 芯片市场规模仍将保持 50% 以上的增长速度,到 2021 年,市场规模将达到 305.7 亿元。

面对如此诱人的市场规模和不断变化的市场需求,即便AI芯片行业已经巨头林立,依然有众多优秀并且敢于创新的新生力量进入赛道,在极速发展中占有行业的一席之地,“燧原科技”便是其中不得不提的名字。

张文平

燧原科技软件研发总监

张文平先生现任燧原科技软件研发总监,管理软件QA、Infrastructure 和 DevOps 团队,拥有丰富的CPU/GPU/APU/xPU芯片的硅前验证、芯片测试与产品量产的工作经验,以及基础软件与 AI 软件栈研发与测试的经验。张文平先生曾于2011年加入AMD经历过几十款复杂SoC的Tapeout验证、量产落地以及商业化实践。此外他还曾就职于霍尼韦尔和华硕电脑等知名企。

“做大芯片”的AI领域黑马

燧原科技于2018年3月在上海创立,在上海和北京设有研发中心,在深圳设有客户支持部门。企业本着“做大芯片,拼硬科技”的初心,专注研发针对云端数据中心的深度学习高端芯片,定位于人工智能训练及推理解决方案,是国内第一家同时拥有高性能云端训练和云端推理产品的初创企业。

成立至今近3年半,燧原科技已完成4轮融资,融资总额近32亿元人民币。今年7月在上海举办的世界人工智能大会上,燧原科技推出第二代人工智能训练芯片“邃思2.0”,成为国内首家发布第二代人工智能训练产品组合的公司。经过全新升级迭代后,邃思2.0的计算能力、存储和带宽、互联能力较第一代训练产品有巨大提升,对超大规模的模型支持能力获得显著增强。而同步升级的驭算TopsRider软件平台,成为燧原科技构建原始创新软件生态的基石。

寻找坚实的数字力护航产品研运体系

张文平表示:“燧原科技专注研发人工智能领域云端算力平台,在整个研发进程中,既包括AI芯片与板卡的设计、开发、测试、量产,也包括AI软件栈及相关工具链的设计、开发、验证、测试等各个环节。”

AI芯片本身的诸多特性需要先进的芯片架构以及易用并持续迭代的软件栈一起来保证。相较于纯软件企业的开发流程,燧原科技更具挑战的是整个研发流程,既有Pre-Silicon阶段的软件模拟平台、物理仿真平台的开发验证流程,又有Post-Silicon芯片、板卡、服务器系统以及AI集群等多种开发验证环境。因此燧原科技过去一直在使用组合工具链来打造研发流程。

燧原科技的研发团队使用不同工具来满足不同研发要求,例如代码托管平台GitLab、制品管理平台Artifactory、测试管理平台TestRail等等各类优秀的工具、并且使用Gerrit/Jenkins/GitLab CI持续集成Pipeline。

然而,复杂的组合工具链在整合过程中,一直面临稳定性与可扩展性等问题。 同时如何集成各种相关工具使其高效、可持续地工作,确保产品研发等各环节高质量的完成交付工作,燧原科技正在寻求突破的方向。

另一方面,燧原科技在国内上海、北京、深圳、杭州都设有办公室,不同地点的研发人员协同效率问题也是研发团队持续面临的问题,尤其是随着代码仓库的增大,代码仓库在托管平台不同地点之间的同步也遇到挑战。

张文平表示:“燧原科技从成立的第一天开始就在使用GitLab社区版产品,但是免费的社区版产品功能随着公司的快速成长,已不再能够满足燧原科技对研发效率的追求,希望利用更多高阶的增值功能并结合燧原内部的研发场景,构建敏捷、稳定、高效以及可扩展的研发流程。在得知极狐(GitLab)公司成立后,我们对极狐GitLab专业版的功能进行了深入的调研,并对于极狐GitLab本土化支持的实时性、专业支持能力和运维能力有了充分了解,最终选择极狐GitLab专业版在燧原内部进行落地部署。在产品落地部署的同时, 极狐GitLab所提供的线上课程以及丰富详细的说明文档让燧原科技的R&D和DevOps工程师能快速地学习、成长。”

星火燎原,优秀DevOps体系的试验田

张文平表示:“ 极狐GitLab专业版的引入,从DevOps的运维角度,降低了运维的难度和复杂性,同时也提高了研发体系的可靠性和工程效率,从而进一步提高研发和运维人员的研发体验。”

燧原科技十分清醒的认识到,DevOps体系大规模的改革并非一蹴而就,全面展开调整之前需要进行不断的论证、尝试和迭代,找到专属于燧原科技的DevOps体系化之路,才是正确的打开方式。

张文平说:“我们使用极狐GitLab专业版目前是从部分团队开始,期待未来可以大规模推广到更多团队。”

1. 提升研发效率,统一工具平台

燧原科技亟待减少独立工具种类以搭建统一的、高效的DevOps平台以提升整体研发运维效率。

目前,燧原科技部分产品研发团队已经完成在极狐GitLab中研发流程的迁移,经过改进后,实现了单一平台的协作并且无需跳转。同时本地就近服务节点Clone/Commit代码,加速代码拉取操作,同时与k8s 算力集群对接,简化代码提交、review流程的同时,实现CI pipeline的简化和高效执行。

(资料来源:极狐GitLab使用情况展示)

随着燧原科技的规模发展,公司研发团队在物理位置上的分散,也出现了一些协作方面的挑战,比如其他城市的团队在检出代码时(极狐GitLab实例安装在上海的服务器上),受限于带宽和代码库大小,耗时较多。在采用了极狐GitLab GEO部署方式后,代码检出速度大大缩短,有效的提升了研发效率。

(资料来源:极狐GitLab GEO部署展示)

另一方面,燧原科技也正在使用极狐GitLab的Group/Subgroup等功能对项目做更细粒度的划分管理,这也使得燧原科技对于源码管理的安全性得到了有效的提升。

2. 优化生产成本,团队效能倍增

张文平说:“燧原科技利用极狐GitLab专业版降低工具平台的维护难度与成本,节约了运维时间成本,从而可以花更多精力专注在有创造性的工作内容上。”

燧原科技在前期仅仅将极狐GitLab作为源代码管理工具,而整体的CI/CD是用Jenkins来完成的。众所周知,Jenkins功能强大且较为稳定,但是大量的Jenkins插件维护对研发人员来讲是不小的工作量,插件之间还有版本依赖。随着燧原科技的项目复杂度和规模都在不断扩大,导致Jenkins实例数量的持续增加,如何保证不同环境(开发、测试以及生产)的Jenkins实例的配置、插件版本等保持一致,同时在人力有限的情况下,能够达成这样的工作体量,成为张文平团队需要考虑的下一个问题。

另外一方面,Jenkins支持多种语言来完成CI/CD,如 Shell,Groovy,Python 等。往往负责CI/CD编排和负责业务研发的员工是两个团队,这在无形中会增加沟通成本,阻碍DevOps的高效运行。

(资料来源:极狐GitLab Pipeline流程展示)

当燧原科技开始使用极狐GitLab + 极狐GitLab CI 的方式后,开发人员可以通过查看极狐GitLab CI的语法来完成CI/CD的编排,这样就省去了无穷无尽的各类插件更新和实例维护,同时 CI/CD 编排团队的额外沟通成本也得到有效控制。

3. 更好的用户体验,推动快速落地

研发运维的工具需要创新,使用更具创新性的DevOps平台,提升员工工作体验,减少繁琐的重复和等待,可以帮助提高员工的工作效率。

对于 研发人员来讲,改变现有的研发习惯,拥抱新的变化是需要过程的。张文平认为:“逐步培养研发人员使用更新、更高效的研发运维工具非常重要。一个好产品,肯定具有一定的用户粘性,研发人员一旦感受新工具、新平台带来简洁、方便、高效的特性和改变,他们将会乐意接受并融入。”

(图片源自:Pixabay)

未来可期,打造更安全的DevOps体系

张文平认为:“任何生产力工具的落地,都需要一个迭代过程,我们对极狐GitLab在很多方面都有期待和想法,未来我们会在极狐GitLab中探索更多功能的使用,并在合适的时间点进一步完善体系的搭建,例如集成极狐GitLab内置的安全功能等。”

(图片源自:燧原科技官网)

成立3年,高歌猛进。燧原科技以行业黑马的姿态在AI芯片领域开疆拓土。在近期活动中,燧原科技打出了“算力普惠之智,芯片强国之梦”的口号,这背后需要其搭建迭代更快、效率更高、能力更强的数字化基础设施体系,来支撑更长远的发展。未来,极狐(GitLab) 会持续提供高质量、高品质的产品与服务助力燧原科技早日实现“芯片强国之梦”。