9月5日,在腾讯全球数字生态大会上,腾讯集团副总裁、云与智慧产业事业群COO兼腾讯云总裁邱跃鹏发布“腾讯云智算”品牌,帮助产业突破技术瓶颈,加速释放AI生产力。
作为“算存网数一体”的高性能智算底座,腾讯云智算在稳定性和性能上都有不错的表现:集群千卡单日故障数已经刷新到0.16,是行业水平的1/3;1分钟就能完成万卡checkpoint写入,数据读写效率是业界10倍;千卡集群的通信时间缩短到6%,是业界一半。通过整合软硬件技术能力,腾讯云智算集群从机器上架到开始训练还可以做到只需1天,相比业界以月为单位也大为缩短。
在下午的AI基础设施专场上,腾讯云副总裁李力表示,腾讯云智算具有三个特点,包括同源同构、云原生、以及场景驱动。一方面,腾讯云多年的发展历程中,持续坚持公有云、专有云、分布式云走统一的技术路线,代码一致,这些经验将在腾讯云智算中得到体现;另一方面,腾讯云已经支撑腾讯集团自有业务完成了上云,完成了业界最大的云原生实践,腾讯云智算会将云原生上所有的生态体系与AI融合,打造AI原生云。另外,腾讯云智算是在200多万客户过去十年给腾讯云的磨炼中诞生的,有充分的场景验证)。
(腾讯云副总裁 李力)
集合优势云产品,打造高性能AI基础设施
腾讯云智算整合了腾讯云高性能计算HCC、高性能网络IHN星脉、高性能云存储、加速框架、容器、向量数据库、智算套件等腾讯云优势产品,能够为AI创新输出性能领先、多芯兼容、灵活部署的智算产品能力。
腾讯云异构计算副总经理宋丹丹介绍,腾讯云HCC高性能计算集群拥有全球领先的算力性能,可以达到比原厂商推荐优化19%到30%的性能。HCC可以提供业界最高的3.2T超高互联带宽,算力性能较前代提升高达3倍。
腾讯云智算除了具有领先的性能表现,在部署上也非常灵活,支持公有云、私有云以及分布式云的部署。腾讯专有云TCE研发负责人王旻表示,不同客户对弹性、灵活性、数据隐私和自主可控的需求各不相同,智算基础设施也需要满足公有云和专有云等多种模式。同时,除了智算能力外,也会给私有化客户带来其他一些收益:全面安全合规、开放兼容,覆盖智算、通算、超算等多种场景的全栈智能解决方案,行业云能力,以及腾讯云完整运营/运维的产品与理念。
腾讯云虚拟化产品总经理陈立东介绍了新发布的AI大模型加速解决方案TACO。其中,TACO-LLM,加速语言生成的效率,可以获得1.8倍到2.5倍的性能提升,百万Token推理成本低于0.5美元,运营成本降低超过一倍,并与业界的开源模型都完成了适配;TACO-DiT是一款专为DiT模型设计的并行推理引擎,旨在解决高清图像与长时一致性视频生成中,因输入序列增长导致的计算量激增问题;面向传统AI,腾讯云提供qGPU技术提升GPU的利用率。
腾讯云网络VPC产品负责人王营表示,腾讯云智能高性能网络IHN星脉面向AI场景,打造超高速规模网络。IHN支持超10万卡的集群,并支持异构网络接入。
AI时代,场景对存储的需求也发生了很大变化。腾讯云存储产品总经理陈峥表示,腾讯云智算所采用的AIGC云存储解决方案可实现对AIGC生命周期的全覆盖,高度匹配大模型的各类存储需求。在数据采集环节腾讯云提供数据迁移服务;数据清洗环节和训练推理环节,腾讯云通过GooseFS提供分布式缓存能力,可以将数据调度到近计算节点,加速数据的访问;数据治理环节,数据万象服务可以为海量的预训练数据和推理数据提供数据质量的保证,确保数据的合规性,保障大模型输入和输出都有可靠的质量。
腾讯云分布式云产品负责人杨志华在分享中表示,腾讯云分布式云的解决方案通过把公有云部署在本地,使得公有云能力可以1:1复制到用户的本地,并提供高达400种云产品的选择,既包括常用的计算网络存储、数据库、中间件,也包括众多的办公协同、营销工具。目前,分布式云已有超过20个行业得到了广泛的实践和产品的打磨,帮助企业构建数据本地化的云平台。
腾讯云AI企业级自研分布式向量数据库接入AI的效率比传统方案提升10倍,运行稳定性高达99.99%。支持千亿级向量规模、500万并发吞吐,并且相同成本情况下性能达到业界的1.5-5倍。
多场景落地,释放AI生产力
这目前,腾讯云智算服务了90%以上的国内头部大模型头部企业,也帮助了一大批IDC厂商走向AIDC转型,在互联网企业、大模型厂商、金融行业、政企行业、AI开发等多个场景,腾讯云智算也在助力客户加速释放AI生产力。
元象科技的大语言模型是广东省2023年第一批通过国家备案的大语言模型,最新版本的MoE模型只用了数百亿级别的预算量就可以达到数千亿级别的模型效果。元象大模型产品中心总监张玥介绍,腾讯云提供的充足的算力、可靠的算力平台和先进的网络,有效支持了元象的大语言模型的顺利落地,让大语言模型更好的发挥了效能。
广州尚航信息科技股份有限公司深耕算力基础设施服务领域,提供业界领先的智算中心、AI算力、云计算。为互联网、人工智能、政府、新能源等多个行业提供AIDC综合服务、AI算力、云综合服务等,是客户及合作伙伴最可靠的智算基础设施服务商。尚航科技与腾讯云战略合作以来,双方基于互信共赢的发展战略,共筑AI算力底座。尚航科技借助腾讯云技术拓展业务版图,打造尚云SunClouds云算力平台,依托尚航坚实的AIDC基础设施、GPU算力集群、本地网络和腾讯云TCE技术,尚航搭建了具有全栈IaaS+PaaS+安全能力的综合型算力平台,为众多行业客户提供高效、稳定且安全的算力资源。尚航与腾讯云的战略合作,将为客户提供更便捷的一站式算力服务体验,同时也将推动AI算力行业的发展。未来期待与更多行业伙伴携手,响应国家战略,助推新质生产力发展,为数字经济的发展贡献力量。
会上,腾讯云智算还宣布和海南怡和中能实业投资有限公司、上海燧原科技股份有限公司、广州尚航信息科技股份有限公司等共建产业高效能云智算中心。本次合作签约,将充分发挥各方优势互补,围绕研发、服务、销售等全领域开展企业数智化转型合作和,共同推进云计算和人工智能产业融合、创新及发展。
“生成式AI的兴起给整个云基础设施建设提出了更高的要求,随着腾讯云智算的发布,我们希望能够一站式地把高性能计算、高性能存储、高性能网络等各方面的优势技术能力,为企业客户的AI创新探索,创造更多价值。”腾讯云副总裁沙开波表示。
