算力从融合跨越到内生,计算架构如何应变国产大模型

DOIT传媒12月13日报道,2023计算产业生态大会在北京召开。数字经济将驱动多样性算力迎来爆炸式增长,今年《数字中国建设整体布局规划》《算力基础设施高质量发展行动计划》等文件相继印发,数字经济时代已全面开启,数字中国建设成为数字时代推进中国式现代化的重要引擎。

在上午的主论坛上,工业和信息化部电子信息司副司长徐文立发表致辞,中国工程院院士邬贺铨、中国移动研究院副院长段晓东、华为鲲鹏计算业务总裁李义等产、学、研领域专家发表精彩演讲,剖析了算力给计算架构带来变革的前瞻性洞见,深刻阐释了算力在边缘计算、智能网络等领域的产业价值,并硬核分享算力在大模型等应用领域的具体实践。

一、算力与新兴应用市场同步扩容,边缘/端侧算力不可或缺

计算产业在全球范围内都在经历快速的增长和发展,特别是在中国,这一产业的发展势头更为强劲。我国的计算产业发展迅速,但存在未形成以核心路径为主导、国内软硬件适配的生态体系;产业面临发展路径过多,容易导致资源分散、浪费的问题,难以形成合力。

工信部电子信息司副司长徐文立

工信部电子信息司副司长徐文立表示,应对新型社会新挑战,把握推动新型工业化的新机遇,一方面要不断进行创新和升级,提高计算产品的性能、稳定性和可靠性,另一方面还要注重技术研发的投入,加强自主创新能力建设,提升国际竞争力。徐文立在致辞中呼吁,我们必须抓住机遇,加快整个计算产业核心关键技术和全球产业链,共筑和谐美好先进的计算生态,助力我国新型规划建设,推动我国计算产业高质量发展。

生态对于计算产业的重要性主要体现在推动产业发展、提升竞争力、促进技术创新等方面,建设和发展强大的计算产业生态,是我国计算产业发展的重要战略任务。徐文立相信,未来将有更多的智慧化、智能化的产品涌现;绿色低碳、开放开源的生态将成为数字经济时代计算产业的强大支撑

中国工程院院士邬贺铨

大模型、行业数字化驱动计算架构变革,走向新一代计算架构。以大模型为代表的通用人工智能不断演进,工业制造、电力能源、金融、交通等领域行业数字化转型不断深入加速计算架构变革。中国工程院院士邬贺铨带来《算力时代的边缘计算》演讲,从边缘计算领域着眼,阐释了算力时代下计算架构会遇到的新挑战,还阐释了算力与边缘/终端、新兴应用市场的同步扩容的现象。他谈道,大模型融入边缘/端侧正面临算力与存力、能效、体验以及生态这三大挑战,边缘与端侧算力在算力时代仍然不可或缺。

邬贺铨院士以Meta公司的智能聊天机器人为例,他谈道,LLaMA开源大语言模型中最小的LLaMA 7B也经过了超1万亿tokens的训练,其FP16版本仅有14GB;至于手机的处理器(CPU)和图形处器(GPU),它们的计算能力远低于服务器级别的硬件,然而今年高端旗舰机DRAM也才18GB。算力与存力不够用,这是大模型在融入边缘/端侧时所面临的难题。

对比云边端三侧的算力,邬贺铨院士谈道,边缘与端侧的算力相较于云端的算力具有低成本、低时延、高隐私的优势。具体来说,考虑到云上的失量数据库只用于存储和索引由深度学习等技术产生的高维矢量,照片和视频等数据依然依赖边缘计算来支持,并在断网时仍然可以智能调用,对应着高隐私的特点。

对于企业合作开发行业大模型,邬院长也给出了具体建议。他谈道,在大模型上需给予海量数据充分训练,待调优至理想效果后在进行知识蒸馏、量化及针对特定场景迁移等缩小模型的工作;大模型还可驱动云网协同,例如采用5G CPE+UPF以IPv6上云。

二、算力驱动原创技术,服务大模型量产加工

在算力成为信息社会核心生产力的背景下,算力网络既是激活数字经济高质量发展的新途径,也是科技竞争的新高地和技术创新的新赛道。

中国移动研究院副院长段晓东

在主题为《打造算网一体原创技术,构筑智能算力网络》的演讲中,中国移动研究院副院长段晓东以算力跟网络两大学科在计算产业交叉融合的角度,分享对整个算力网络产业发展的想法。他用一句话提炼出算力网络行业的趋势——加速传统通信服务向新型信息通信服务转变。过去的计算网络以数据信息网络交换为核心,如今行业转向算为核心、网为根基,计算网络智能、数据安全等多种要素融合创新成为发展新范式。

根据算力发展需求和网络演进需求的分析,段晓东院长研判,算和网已经呈现双向驱动趋势,为了进一步呈现整体的能效、性能和利用率优势,需要算网一体化的系统思维和多学科交叉创新。针对算网一体需要解决的联合优化、构筑新型智算中心、大规模数据广域网高效传输等核心技术问题,段晓东院士呼吁行业需要“原创技术”。

中国移动提出了算力路由CATS、算力原生CAMA等原创技术并获得国际共识。至于算力服务的形态,中国移动的移动云落地医疗影像异地存储、影视异地渲染、数据异地处理等算力应用,并发布政务、客服等AI大模型,丰富云算终端产品。

华为鲲鹏计算业务总裁李义

“大模型进入边缘/端侧将打开新的智能应用空间,但生态的建立需要厂商强有力的技术体系、工具平台、赋能方案以及商业势能的加持”,正如邬贺铨院士在演讲中所提及。谁能突破算力的效率与生态问题,找到中国大模型的解法?华为鲲鹏计算业务总裁李义以鲲鹏/昇腾AI+行业大模型为例,在演讲中阐述国产大模型在算力挑战下的生产实践。

谈到华为“鲲鹏+昇腾”双引擎的计算战略,李义解释道,鲲鹏计算以“极致性能、极简开发”为主要特点,昇腾AI计算则以“极简易用、极致性能”为主要特点。具体来说,华为在硬件开放方面做出如开放鲲鹏主板、开放十大能力等努力措施,使其合作伙伴能够打造差异化的整机产品,共同构建开放共赢的整机硬件生态。李义谈道,2022年华为整机合作伙伴的出货量占比高达95%。

值得注意的是,昇腾如同“母机”一般托举着千行万业的大模型生产和加工。昇腾AI全流程开发工具链MindStudio提供算子、模型、应用一站式高效开发和极简部署的能力,为AI模型开发提供便捷的开发工具。李义坦言,昇腾已原生孵化和适配50+大模型,并在多个行业中成功应用,国内大模型半数选择昇腾。

结语:算力从融合跨越到内生,新应用、新方法实现换道超车

业内认为国产大模型与以GPT-4为代表大模型之间仍有数年差距,关键在于推理多模态能力和小样本学习方面。当前我国兴建算力建设、奋力突破算力瓶颈,算力从何融合跨越到内生,蔚然成风,为追赶大模型等新兴应用的差距加速依据。

本次计算产业大会召开时间恰逢恰冬月朔日,外面大雪簌簌,会场内各位专家畅所欲言,气氛热烈。除了为国产大模型提供AI“车床”的华为,安谋科技、飞腾、中国长城等企业和机构也在会上展示了为行业构筑数字算力底座方面所做的努力。

向内看,中国本土市场的优势值得挖掘,中国算力相关行业可化被动为主动,在本地配置的种种限制中主动思考创新路径,重新设计产业链。向外看,计算架构在AI时代背景下的更新换代势在必行,叠加新应用如5G、AI、智慧城市、智慧医疗等带来市场机遇,以上为中国以算力为底座的行业换道超车提供技术参考和市场动力。