大模型需要你知道Alluxio 、Ray,更需要知道CXL池化内存

在《使用CXL内存,应用软件需要修改吗?》一文中,更多了解了FlexGen,一种结合CPU内存,利用低端GPU进行AI推理的技术,了解了CXL内存是如何使用,如何发挥作用的,这里描述的主要是单机本地内存扩展的使用方式,也就是CXL1.1的用法。

与单机内存扩展相比,CXL 2.0内存池化管理和调度,更受关注和推崇。从技术的本质来说,CXL 2.0解决的主要问题是时延的问题。主要的应用场景是大数据、AI等应用场景。

从场景的特点上看,大数据是一个成本比较敏感的应用,相比,AI训练和推理对于延迟等性能的需求更为迫切,从而也决定会有更多用户的需求。这也是很多AI用户考虑使用Memverge GISMO(全局免 IO 共享内存对象系统)软件的原因。

Alluxio 、Ray是AI模型训练和推理中经常使用的技术,如果你希望更多了解大模型,这些就是需要了解和熟悉的技术。其中,Alluxio 是一种开源的数据编排技术,主要的作用就是针对分布式存储层性能低下的问题,通过提供分布式内存来加速数据分析;相比Ray也是一个开源统一计算框架,能够实现超多任务的并行执行,以及CPU、GPU计算资源的管理和调度问题。

针对Alluxio 、Ray,Memverge GISMO提供了优化,实现了集群节点之间的数据高效共享问题,主要的技术思路就是通过CXL池化内存中的共享方式,避免数据的频繁考虑。

如果你正在为延迟等数据访问的性能困扰,其实可以更多了解Memverge GISMO。

(更多技术细节参见“赵玥演讲视频”,欢迎扫码注册观看)。

相关阅读:

从现在开始,你要习惯:服务器内存包括DRAM+CXL Memory

使用CXL内存,应用软件需要修改吗?