2023全球闪存峰会热门话题之存算一体化

2022年底,ChatGPT出现引发新一轮AI变革,各行各业都在积极寻求与生成式AI的融合创新,高效算力和高存储容量是AI学习和推理模型的基础,因此算力与存储资源成为获取生成式AI工具的“入门设定”。

生成式AI应用要从大量训练数据中学习生成和输出高质量内容,还必须具备快速数据处理的能力,能把AI计算结果实时输出给用户。我们知道,数据处理过程简单来说是存储和计算,还有两者之间的通信,实际上运算器消耗的功耗很低,大部分功耗都花在了存储本身的读取上,因此算力的快速提升对存与算之间的数据搬运速度提出了更高要求,而存算一体化则是集成存算功能,提升带宽和密度,加速计算发展的新路径。

关于存算一体化,其呈现方式分很多种,一种是近内存计算(NMC)。“捆绑”缓存+内存,通常会选用3D封装,利用TSV(硅通孔技术)实现垂直通信,适用于AI,机器学习和数据中心等规模型应用,但成本高,还要考虑通用性问题。

还有一种是2.5D封装,主流技术即HBM(高带宽内存),目前业内认为与AIGC十分适配,出货量大幅增加。其与平面板级连线不同,加入interpose的特殊有机材料(线宽,节点间距优于电路板)作为中间转接层,就像一个有底座的硅芯片,和堆乐高同理,CPU周边相当于增加了很多“凹槽”,连接多个HBM2(DRAM芯片)堆栈(甚至可以采用更便宜的90-130纳米芯片制程工艺)来实现高密度和高带宽。

最近的进展是,东京工业大学研究团队的一个研究项目是3D DRAM堆栈,命名为BBCube 3D,称削薄了每个DRAM芯片,去掉了晶圆叠层 (WOW) 设计中的微凸块。据称与DDR5 或 HBM2E(第二代高带宽内存)设计相比能让内存块以更高的速度和更低的能耗运行,因为前者运行温度更高,并且凸块会增加电阻/电容和延迟。

第二种是我们熟悉的存储级内存(SCM),速度介于DRAM与NAND之间。

第三种是近存储计算(NSC),旨在解决存储器距离计算模块太远,读取最花时间的问题。比如让拥有计算模块的FPGA处理数据并充当闪存控制器,总之是不通过CPU进行读取计算,而是直连存储器和计算来提升计算效率。

第四种则是存内计算(IMC),利用存储器的单元模拟特性做计算,真正意义上在存储器内进行的计算。

CPU通过1和0做二进制逻辑计算,存内计算则是利用存储器内电阻特性进行计算,不只用于区分电阻高低,还通过电阻值区分多种状态,电压和电阻都是变量,利用欧姆定律,电压除以电阻进行计算,输出的结果就是电流,仅仅用一个晶体管就可以完成一次乘法计算过程。如果存内计算(IMC)流行起来,那么以后理论上就能以存储容量来作为计算能力的度量单位。

近年来,全球闪存峰会也在见证国内存算一体化的技术发展,从2019年全闪存应用论坛上的一场存算一体芯片架构演讲分享,到2021年和2022年存算一体化技术论坛的成功举办,让我们进一步了解到国内存算一体化企业,如知存科技、后摩智能、苹芯等企业最新动态以及技术应用发展,2023年的全球闪存峰会在8月30日仍将举办存算一体化相关主题论坛,邀请业内专家分享存算一体化最新技术发展,敬请期待!