存储器厂商NEO Semiconductor发布最新3D X-AI芯片技术,取代目前用于AI GPU加速器的HBM。
据悉,这款3D DRAM内建AI处理功能,使处理和生成不需要数学运算输出,当大量数据在存储器与处理器间传输时,可减少数据汇流排(DataBus)问题,提升AI效能与效率。
3D X-AI芯片的底层有个神经元电路层,可处理同一芯片上300个存储器层所储存的数据。NEO Semiconductor表示,由于8,000个中子电路(neutroncircuits)可在存储器中进行AI处理,该3D存储器效能可提升100倍,存储器密度比目前HBM高8倍,透过减少在GPU中处理的数据量,可降低99%耗电量。
NEO Semiconductor创办人兼CEO许富菖指出,由于架构和技术低效率,目前AI芯片浪费大量效能和电力。目前AI芯片架构是将数据储存在HBM、GPU负责执行所有运算,这种架构将数据储存与处理分离,使数据汇流排成为无法避免的效能瓶颈,当大量传输数据时效能有限,耗电量也非常高。
3D X-AI可在每个HBM芯片中执行AI处理,大幅减少HBM与GPU之间传输的数据,提升效能并大幅降低功耗。
X-AI容量为128GB,每个芯片可支援10TB/s的AI处理能力。将12个裸晶(X-AI)堆叠在单一HBM封装中,可实现超过1.5TB储存容量和120TB/s处理吞吐量。
目前许多公司研究能提高处理速度和通讯吞吐量的技术,当半导体速度越来越快、效率越来越高时,在元件之间传输数据的汇流排将成为瓶颈,因此这样的技术将可让所有元件一起加速。
台积电、英特尔、铠侠等公司都在研究光学技术,以加快主机板内的通讯速度,透过将部分AI处理从GPU转到HBM,NEO Semiconductor可降低工作量,使效率远高于目前耗电的AI加速器。(文章来源:科技新报)