为了颠覆冯诺依曼架构,存算一体做了啥?

通常我们提起存算一体,脑子里可能会飞出N个概念——IMC(in-memory computing)存内计算,NMC(near-memory computing)近内存计算,SCM(storage class memory)存储级内存,还有一个叫Computational Storage的,有人喜欢翻译成计算型存储……

最近阿里的云数据库拼命在说计算和存储分离架构设计的优势,然而,在底层硬件设计创新中,存储和计算正在拼命想腻歪在一起,在存和算的概念中,究竟能组的CP有多少种,什么才是真正的存算一体呢?

先来说一下存储和计算。

在冯诺依曼体系中,计算和存储是分开的,想要输出结果,就要完成三步走——存储,计算,以及两者之间通信,也就是数据搬运。

存储分为三个层级,高性能小容量的SRAM,大容量低性能的SSD,以及处于两者之间的DRAM内存。

第一个是CPU/GPU/SOC里的缓存(SRAM),它连接计算模块,它的读写速度最快,能自动执行存储操作,非常快速地做加法计算,SRAM的容量越大自然计算能力也越强。

但是,SRAM容量通常非常有限,因为一旦面积做的越大,成本会越高,速度也越慢,散热设计要求也越高,经过各种极致的创新过后,如今最新的一些高端CPU的L3 Cache最大可以做到200多兆,L1和L2 Cache还是很小。

于是,只能退而求其次,让更多数据被转存到距离计算模块较远的内存上,也就是DRAM之类的内存里。

从内存(DRAM)里读取数据,相比缓存速度慢了百倍到千倍,这还可以接受,比较严重的问题是,当面积大了之后,功耗也会提高。

于是,提升单位面积下的内存存储密度就显得越发重要了,发展的实践证明,现在DRAM内存在提升到单条16G之后也越发吃力,再继续提升的话,一方面制作成本会更高,另一方面,遭遇数据泄露或破坏的风险也在增加。

看来内存也就能做到这里了,接下来怎么办呢?接下来就得看容量更大的存储器(SSD)了,它的容量大,但性能更低,存储(SSD)速度又比内存慢了10倍以上。CPU要读数据,一路从存储器走过来,花上的时间可能万倍于从SRAM找数据。

有统计表明,做加法和乘法的运算器所消耗的功耗其实很低,大部分功耗都花在了存储本身的读取,思考这一问题能做什么有意思的事情呢?比如我们可以思考,如何集成存算功能,提升带宽和密度,进一步打破存储瓶颈。

业内有这几种技术方向:

第一种,近内存计算(NMC)。“捆绑”缓存+内存,通常会选用3D封装,利用TSV(硅通孔技术)实现垂直通信,但成本高,不同型号的芯片带还要匹配大小,进行预设计和流片。在以上工作的基础之上,还要考虑通用性问题,它适用于AI,机器学习和数据中心等规模型应用需求。

另一种是2.5D封装,主流技术是HBM(高带宽内存),与平面板级连线不同,加入了interposer这种特殊有机材料(线宽,节点间距优于电路板)作为中间转接层,它像一个有底座的硅芯片,和堆乐高同理,CPU周边相当于增加了很多“凹槽”,连接多个HBM2(DRAM芯片)堆栈(可以采用更便宜的90-130纳米芯片制程工艺),实现高密度和高带宽。

第二种,存储级内存(SCM)。常见的是由英特尔和美光推出的3D Xpoint,基于相变存储技术,速度介于SSD和内存之间,目前可以和DRAM配合使用,适用于规模型应用场景。

第三种,近存储计算(NSC)。它是为了解决存储器距离计算模块太远,读取最花时间的问题。

SSD主要由闪存颗粒组成,需要控制器对其进行平均擦写管理,实现擦写均衡,于是有企业将控制器加上计算功能,或者让拥有计算模块的FPGA来处理数据并且充当闪存控制器,总之,就是不通过CPU进行读取计算,而是直连存储器和计算,以此提升计算效率。

第四种,存内计算(IMC)。它利用存储器的单元模拟特性做计算,这是真正的在存储器内进行的计算。

CPU是通过10做二进制逻辑计算,而存内计算则是利用存储器内电阻特性进行计算,不只是用来区分电阻高低,而是通过电阻值来区分多种状态,电压和电阻都是变量,利用欧姆定律,电压除以电阻进行计算,输出的结果就是电流,仅仅用一个晶体管就可以完成一次乘法计算过程。

存内计算(IMC)带来的改变和突破非常巨大,如果存内计算(IMC)流行起来,那么以后理论上就能以存储容量来作为计算能力的度量单位了。

如此具有突破性的技术都有谁在研究呢?国外有许多公司在研究,在国内,也有包括知存科技,恒烁半导体,杭州闪亿,新忆,后摩智能等企业,目前有部分企业的产品已经进入了实践应用阶段。

内存的高密度发展道路已经走不通了,而近内存计算是一种可行解。

三星,SK海力士主导的HBM存储技术正在持续升级,未来随着DRAM与存储器之间的价格和速度差距不断缩小,围绕DRAM和SRAM的近内存计算更符合主流应用需求,而2.5D NAND是处于过渡期的最优选。

IMC实际上是计算型存储的典型标准,是未来趋势,但目前还要面临可靠性和密度问题,需要更多的技术验证和行业应用实践应用,但它所描绘的前景则非常诱人,是一种有望颠覆冯诺依曼架构系统的特殊存在。

2021年7月29日-30日,2021全球闪存峰会将在杭州召开,届时我们设置了存算一体化技术论坛,特邀知存科技创始人兼CEO王绍迪作为论坛出品人,论坛将围绕存储为中心计算的技术演进方向以及适用的应用实践展开分享,敬请期待!