Pure Storage开发FlashBlade//EXA系统背后

近六十年间,全球闪存市场迅速发展,市场蛋糕逐渐扩大,全闪市场也开始积极拓展版图,2008年,Violin率先推出了基于全闪存的存储设备,随后2009年,全闪存储系统公司Pure Storage成立,跟着一行拿到入场券的初创公司随时面对被收购或被迫退出市场的风浪,不同的是,Pure Storage不仅存活下来,还一路升级,2015年上市,得以在全闪市场站稳脚跟,和一众大佬,如戴尔、HPE、IBM、日立、NetApp等主流企业级存储厂商笑看风云。

主流企业级存储厂商们主要是采用双控制器+硬盘的纵向扩展架构,实现真正横向扩展的则是高性能计算(HPC)领域采用并行文件系统的厂商,比如DDN。

2016年,VAST Data在全闪存市场投下一枚惊雷——推出全新的分布式架构,采用了可独立横向扩展的元数据控制器与全闪存存储节点,并通过NVMe RDMA网络互联。虽然系统里有大量先进的软件技术,但本质的突破是这种分布式设计,还有独立的QLC闪存存储层。

随着AI浪潮兴起,VAST Data和DDN等具备并行文件系统的全闪厂商迎来爆发式增长。其系统能够满足GPU服务器集群在生成式AI训练任务中对海量数据IO的需求。当然还有一些企业级全闪厂商通过添加英伟达GPU直连提升数据传输速度,但分布式横向扩展架构带来的容量优势让VAST Data和DDN在英伟达主导的GPU服务器海量数据训练中占据了先机。

此后,HPE推出类似VAST架构的Alletra存储,戴尔启动Project Lightning(闪电计划)增强PowerScale/Isilon的并行处理能力,NetApp开发ONTAP for AI项目。Pure Storage则在近期发布了FlashBlade//EXA。

Pure Storage也在国外科技网站Blocks & Files采访时谈到了FlashBlade//EXA背后的设计理念。

首先是用户对极致性能的强烈需求作为最大驱动力

Pure Storage对市场现有架构分析发现仅制造更大节点虽能提升性能,但不足以满足客户提出的高达每秒10-20TB的性能要求。而元数据性能问题是客户面临的重大痛点,且现有解决方案如PNFS、Lustre虽然实现了元数据分离,但无法做到元数据与存储容量的灵活独立扩展,因此Pure Storage以此为逻辑寻找解决方法。

复用FlashBlade已有能力,构建无限可扩展数据节点

Pure Storage的方式是保留FlashBlade的元数据引擎,利用其高连接并发+超大对象数量(支持40千万亿级对象)等特性,同时通过解耦的方式添加数据节点,让数据节点能,还通过PNFS构建线性带宽增长架构,每新增节点可带来85-100GB/s带宽增长。

为了实现FlashArray、FlashBlade等产品的协同,Pure在Fusion平台上构建API抽象层与策略驱动的数据调度能力。未来,用户可能无需关心数据存在哪个系统上,所有资源由平台自动决定,EXA也借此具备与Hammerspace类似的数据编排能力。

未来,FlashBlade//EXA将随着PNFS在FlashBlade中的进一步整合,支持多机箱、跨地域的统一命名空间。并且随着300TB到600TB容量的增长,FlashBlade//EXA将进入更多用例场景(如超级归档等),并通过Fusion平台实现统一管理。