震撼!这家公司仅用19天时间就完成百亿级参数大模型全量训练

6月10日上午,北京智源大会现场AI系统分论坛上,天数智芯产品总监宋煜发表了《国产GPU助力大模型的实践》的演讲,讲述这家率先完成通用GPU量产的企业此次的新动作。

天数智芯的天垓、智铠系列通用GPU产品具有高性能、广通用、开发成本低的特点,广泛支持DeepSpeed、Colossal、BM Train等各种大模型框架,基于天垓、智铠加速卡的算力集群方案不仅能够有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,为行业伙伴提供一站式的大模型算力及赋能服务。同时面向大模型推理侧的一体机,性价比超过国内现有市场主流产品。

据悉,仅用时19天时间,天数智芯就成功完成了北京智源人工智能研究院70亿参数大模型全量训练,收敛效果与英伟达A100集群相当。