SK海力士展示了基于显存的存内计算技术

SK海力士最近展示了一个用了存内计算技术(PIM)的显存芯片——GDDR6-AiM。

GDDR6-AiM芯片,AiM的意思是存储器中的计算加速器,GDDR6-AiM芯片为GDDR6存储器芯片添加了计算功能。

GDDR6是主要是给GPU显卡用的显存,GDDR与DDR有很大不同,前者看重带宽,后者看重延迟表现。

SK海力士表示,GDDR内存在AI和大数据场景中用的非常多

在CPU加GPU的组合方案中运行某些运算,使用GDDR6-AiM的方案比使用DRAM的方案快16倍,究其原因在于,SK海力士的PIM减少了到CPU和GPU的数据迁移动作,而且,还减少了80%的电量消耗。

GDDR6-AiM的工作电压是1.25V,而SK海力士现有GDDR6的工作电压是1.35V。

SK海力士没有透露用的是什么处理指令,也没有透露处理单元在内存里是如何分布的。而三星基于MRAM的PIM技术公布的信息更多一些,众所周知,MRAM比DRAM的速度更快,而且运行时更省电。

EE Times上的一篇文章提到了更多细节:

下图展示了CPU处理数据的各个过程中的功耗情况,如图可见,把数据从DRAM挪到CPU缓存的操作需要的功耗最高。

下图是神经网络运算中使用的典型数学运算,在计算多输出神经元运算时,选择了矩阵的乘法和加法。

单输出 vs 多输出的神经元运算

文章表示,如果把负责这些运算的电路添加到内存中,数据就不需要再传输到处理器,在内存中就能进行运算并将运算结果发送给处理器。

文章表示,如果在RNN等吃内存的场景中使用内置了计算电路的DRAM,那么性能和电源效率将显著提高,当需要处理的数据量越来越大时,PIM将成为突破现有计算机性能瓶颈的重要手段。

SK海力士希望GDDR6 AiM芯片能用于机器学习、高性能计算、大数据计算和存储应用等领域。

SK海力士的相关负责人表示,SK海力士将围绕GDDR6-AiM建立新的内存解决方案生态系统,与SAPEON合作,引入一种新的神经网络技术。

在AI芯片中使用GDDR6-AiM内存技术,对于最大化数据运算效率,降低成本,提高能效方面的表现表示期待。