MemVerge首席执行官兼联合创始人范承工曾提到,动态组合服务器并获取10TB以上内存池容量的能力将推动更多应用在内存中运行,避免外部存储IO流读写。存储级内存将成为主要的热数据存储层,NAND和HDD分别用于温数据,而磁带用于冷数据。
现在CXL市场经历了一年的发展,范承工指出,这是业内近十年来一次重大的架构变革,可能会带来一个跨多服务器共享内存结构的新市场。
CXL基于 PCIe 5.0标准,是PCIe总线在服务器机箱外的延展协议。2019年3月,CXL 1.0正式发布,旨在让服务器CPU能通过缓存一致性协议访问加速器设备上的共享内存。
MemVerge软件将DRAM和Optane DIMM持久内存组合到一个集群存储池中,供服务器应用使用,无需更改代码。换句话说,这款软件已经结合了快速和慢速内存。
MemVerge大内存架构
英特尔的Sapphire Rapids芯片和AMD Genoa支持CXL v1.1,规定如何执行主机处理器和连接的CXL设备之间的互操作性测试。CXL v2.0则增加了支持CXL切换功能,这样多个CXL 2.0连接的主机处理器就能使用分布式共享内存和持久(存储级)内存了。
一台CXL 2.0主机会有自己直连的DRAM,并且能通过CXL 2.0链路访问外部DRAM。外部 DRAM访问会比本地DRAM访问慢几纳秒,需要系统软件(即MemVerge的系统软件)弥补这一差距。 范承工认为CXL 2.0的交换机和外部存储设备最早可能在2024年出现。
三星CXL内存扩展盒子
MemVerge正在和组合系统供应商Liqid合作,让MemVerge创建的DRAM和Optane内存池能通过当今的PCIe 3和4总线能全部或部分动态分配给服务器。CXL 2.0应该引入外部内存池及其对服务器的动态可用性。
范承工表示有了CXL,内存动态组合可以和云服务模型高度协同。因此,云服务提供商会成为这项技术的首批采用者之一。
Blocks & Files认为,包括公有云供应商在内的所有超大规模企业都会依赖CXL连接内存池。而且他们没有可用于提供外部池化内存资源的现有技术,因此要么自己建,要么得寻找合适的供应商。
MemVerge将推动由CXL交换机、扩展器、存储卡和设备供应商组成的CXL 2.0生态系统的兴起。 MemVerge的软件能在公有云上运行。有一家生物技术研究公司SeekGene已经通过在阿里云i4p计算实例运行上使用MemVerge Memory Machine,从而显著减少了处理时间和成本。
阿里云是第一家面向用户提供Optane实例支持的云服务提供商,和MemVerge的联合服务就是在此之上,允许封装应用,并使用MemVerge的快照技术实现回卷恢复。
MemVerge会以开源形式提供基础版大内存软件来扩大应用范围,并提供付费扩展功能,比如快照和检查点服务。
外部内存池示例
想象一下,今天有20台机架服务器,每台服务器都有2TB内存,就是20个2TB内存块,40TB容量,所有应用使用的内存限量2TB。MemVerge的软件可以把任意一台服务器的内存地址空间扩大到3TB左右,不过每台服务器的DRAM插槽数量有限,一旦用完无法再使用。CXL 2.0消除了这个限制。
现在,重新来看,20台机架服务器,如果每台服务器都有512GB内存,这个机架还装了一个连接CXL 2.0的内存扩展机箱,有30TB DRAM。我们仍然有同样40TB的DRAM容量,但分布不同,有 20*512GB的块容量,每个服务器除了分到一个块,还有一个30TB共享内存池。
内存中的应用能消耗高达30.5TB的DRAM,是以前的10倍,从根本上增加其处理工作数据集并减少了存储IO流。我们可以有三个内存应用,每个应用占用30TB内存池中的10TB。这类应用执行速度将显著提高。同时也提高了应用可使用内存的上限。不仅服务器可以用,GPU也可以使用更具可扩展性的内存层。
MemVerge内存存储分层理念
新创建的DRAM必须是持久内存,因为把30TB的数据写入NAND需要相当长的时间,可以使用Optane或类似的存储级内存,例如ReRAM。然后把最活跃的数据存储在存储级内存设备里,温数据优先放到NAND,然后按时间再放到磁盘,磁带上。
这种CXL连接的SCM可以是相同或不同的机箱进行动态组合。可以设想使用这种外部DRAM和Optane系统的超大规模供应商服务能更快,并能以更高的利用率支持更多的用户。
与此应用设计也可能会发生变化。应用的一般逻辑是使用尽可能多的内存,没有内存时才会使用存储空间,对其它数据密集型应用也是以相同方式进行,包括数据库,因此内存数据库也是大势所趋。
而对于许多ISP,让基础设施能提供更多内存也会影响他们的应用设计——未来将以内存为中心,反过来又减少了他们对存储的依赖。
CXL 2.0、超大规模企业和公有云
公有云供应商能设置具有更高内存容量和SCM容量的额外计算实例类型。他们的客户数量和规模将让自身相比普通企业更有效地分摊购买DRAM和SCM的成本,并从服务器中获得更多的利用率。
范承工认为,目前的块存储设备供应商可能会开始生产外部存储器和SCM设备,B&F认为服务器制造商也可能会开始生产。毕竟,他们已经在当前的服务器盒子里提供了DRAM和SCM。融合基础设施系统可以开始添加CXL内存架和软件。
我们正在进入一个大内存时代,CXL 2.0 的影响会和35年前光纤通道的影响一样深远。在SAN 时代,存储可以独立管理和扩展来进行计算。现在内存也是如此。我们正在从SAN时代进入大内存时代!
原文来自:https://blocksandfiles.com/2022/06/20/cxl-led-big-memory/