存储产业观察:HPC存储新机会窗开启,华为等巨头开始发力

高性能计算HPC,通过聚合大量的计算和存储资源来解决复杂问题,在科学研究、基因测序、油气勘探、芯片制造、气象预测等场景已经获得了广泛的应用。欧洲粒子物理研究所(CERN)在HPC的帮助下,从5年间累积的海量监测数据中找到了“上帝粒子”存在的证据;汽车制造过程中,通过HPC来模拟汽车碰撞过程,无需真实的碰撞,不仅节省研发成本,也大幅缩短了研发周期。

过去,追求更高的算力一直是HPC产业的主旋律,从1976年至今,TOP1机器的算力增长了42.1亿倍,比任何一个领域的技术发展速度都要快,多样性算力的崛起更让算力不再成为瓶颈。而HPC中的存力,逐步成为焦点。大数据、AI等技术逐步与HPC融合,让数据价值能够被更充分地挖掘,而被分析的数据也逐步从冷数据,变化为大量动态的、不断变化的热数据。HPC的重心开始从以计算为中心的计算密集型HPC,向以数据为中心的数据密集型HPC演进。存储作为数据的核心承载者,成为了推动HPC产业发展的新动能。Hyperion 2020年HPC全球市场的预测显示,从2019年到2024年,HPC存储市场将保持12.1%的年化增速,远高于计算的8.7%,也在一定程度上印证了这一趋势。

IDC预测到2021年,全球HPC存储的市场空间可达148亿美金,其中新兴的HPDA(high performance data analysis)和HPC-based AI场景将以年化17%、29.5%的增速快速增长。HPC与大数据结合产生的HPDA方案,当前主要应用在金融反欺诈、电子商务等领域,是一种典型的数据密集型业务。这些新的场景将为HPC存储带来更大挑战,包括多应用跨协议高效访问、同一个数据流中的混合负载处理能力、面对EB级数据的TCO优化方案,以及如何确保数据安全的问题。

产业变化催生了新的市场空间,面向HPDA业务的存储已成为存储领域最热门的创新方向,也成为巨头们角逐的新战场。近年来,存储领域的主流玩家Dell EMC、NetAPP、华为以及专攻HPC存储的DDN等也在不断加码HPDA存储方案,以期在新的变革浪潮中拔得头筹。

Dell EMC的PowerScale(原Isilon)分布式文件存储推出已久,除了在媒资等领域广泛应用外,一直以来也是HPC存储领域不可忽视的力量。近两年针对HPDA的高速发展,Dell EMC敏锐的推出了新的全闪产品和专为数据分析和AI优化的全栈方案以提升客户吸引力,并取得了良好的市场进展,据悉已经承载了超过1000PB的自动驾驶训练数据。

原本主要聚焦EDA等小文件HPC市场的NetApp,近两年来也觉察到HPC存储的巨大市场潜力,投入大量资源全面重构主力产品,从而在新一轮HPC和HPDA竞争中,依托小文件AI场景的高性能,也取得了不错的市场地位。

中国厂商中,华为也迅速瞄准HPC存储新机会开始加大投入,并于2020年发布了全新的OceanStor Pacific系列高密全闪和高密大容量两款产品,同时支持多协议互通以及混合负载。据了解,上海交大在暗物质探测中的使用显示,其性能远超预期。

作为专注HPC存储领域的玩家,DDN曾经撬动了服务器并行文件系统+SAN存储10亿美金的市场。在HPDA大势之下,DDN又积极扩展HPDA方案与生态,增加全闪存产品投入,成为HPDA市场的主力军,也是英伟达的最佳合作伙伴之一。

此外,还有一批初创公司纷纷入局,如WekaIO依托分布式文件存储已经成为了新一轮benchmark性能的佼佼者。

每一次产业变革机会窗的开启,总是几家欢喜几家愁,一批公司的崛起也总会伴随着另一批的陨落。相信谁都不想掉队。面对HPC存储的新机会,谁能笑到最后,不妨让子弹再飞一会。

来源:创氪网