如果我们把AIGC、高性能分布式存储比喻为NBA的小球时代,那么HDD,这个存储世界曾经王者,它的前途和命运会如何呢?会不会像传统NBA中锋一样,变得难以生存呢?对此,业内都有自己的判断。那么作为同时掌握HDD和SSD 闪存存储技术的公司,西部数据对此是如何判断的呢?为此,存储在线Dostor总编宋家雨特邀西部数据公司副总裁兼中国区总经理蔡耀祥进行了专访。
宋家雨:未来存储技术发展的趋势是什么?其中,分层存储是否仍然会成为未来企业级存储技术发展的主要脉络?
蔡耀祥:1) 随着5G、AI大语言模型、自动驾驶等各类新技术的融合,数据量也呈指数级激增,企业级用户和云数据中心对于存储解决方案提出了多样化要求——既需要大容量,也需要高性能、更低的总体拥有成本(TCO)和功耗(PUE),除此之外,还有可扩展性方面的需求。
面对这样的发展趋势,企业不能仅依靠单一类型的存储来解决多维度的需求。西部数据作为同时掌握HDD和Flash存储技术的公司,凭借多年积累在HDD和SSD技术领域都不断突破创新,针对不同存储需求提供定制化解决方案:
●HDD技术领域,西部数据将延续采用现有的技术,通过氦气封装、叠瓦式记录(SMR)、能量辅助磁记录(ePMR)、三阶寻轨定位系统、OptiNAND、以及基于OptiNAND和SMR推出最新的UltraSMR新技术,实现容量增长,继续基于自身的技术优势扩展创新。
●闪存技术领域,今年,西部数据携手铠侠成功推出了新一代218层3D闪存,在性能、密度和成本效益方面实现了重大飞跃。
2) 西部数据一直倡导分层存储,即根据数据的使用场景,将数据分为极热数据、热数据、温数据、冷数据和极冷数据五类,综合采用HDD和SSD对数据进行分层管理,从而同时优化成本和效率。除此之外,根据使用场景和具体需求,企业也可以采用分区存储、分解式存储架构等存储策略。
宋家雨:机器学习、AIGC、广义高性能计算等应用场景对存储的主要需求特点是什么?HDD技术在AIGC、高性能分布式存储这样的应用场景,是否仍然会大有作为?
蔡耀祥:1) 机器学习、AIGC、广义高性能计算这类应用场景需要输入海量的数据进行训练以及运行。Gartner预测2025年生成式AI产生的数据将占所有生成数据的10%(目前不到1%)[1]。在收集和筛选数据的阶段,企业需要大容量的HDD作为存储支持。而在训练和推理的阶段,这些数据写得少,读得多,需要更高的吞吐量,以及对延迟、性能都有更高的要求,这一阶段的存储支持主要集中在高性能的SSD上。
2) AIGC、高性能分布式存储这样的应用场景除了需要高性能、低延迟的SSD进行训练,还需要大容量的HDD来存储大量用以存储训练的数据。此外,未来以AIGC为代表的先进数字化应用产生的以存为主,低频使用,且价值不太明显的非结构化数据转变为一些决策性数据的热度在不断攀升,对这些数据的价值挖掘也将成为企业发展的关键性问题。针对这一场景,大容量的HDD在降低TCO和功耗上依然有着得天独厚的优势,可以高效可靠地进行海量非结构化数据的存储,以确保在后续阶段中发掘更多价值。
综上所述,整个AI应用场景需要综合利用企业级HDD和SSD应对不同的存储需求。西部数据通过对客户数据应用的深入研究和沟通,可提供定制化的存储解决方案,满足他们在AIGC、高性能分布式存储等方面的多样化需求。
宋家雨:智慧城市和智慧交通项目,部署了大量的智慧视频,积累了大量的数据,从数据存储的角度看,应该如何盘活这些数据?如何降低数据的存储成本?
蔡耀祥:1) 存储和分析是面对智慧视频场景下产生海量数据的两大核心挑战。人工智能技术可以对大量视频数据进行分析处理,并挖掘数据价值,因此其重要性更加凸显。西部数据在智慧视频领域拥有WD Purple HDD、WD Purple Pro HDD以及WD Purple SC QD101 microSD存储卡产品系列,提供从边缘设备到云端的完整产品系列。其中,WD Purple Pro HDD产品线为新一代视频记录和分析服务器以及存储系统提供了更卓越的性能、更强的工作负载能力与更稳定的可靠性,并且提供了单盘高达22TB的容量,满足大容量存储需求。
2) 单盘容量更高的HDD,可以在存储大量数据的同时,帮助企业降低整体拥有成本和能耗。高性价比的大容量HDD是西部数据一直以来关注的方向。西部数据拥有高达26TB容量的企业级Ultrastar SMR HDD系列,以及用于智慧视频高达22TB容量的WD Purple Pro系列,能够帮助用户满足大容量存储、低成本的需求。
宋家雨:为什么西部数据始终把大容量作为HDD设计技术的发展方向?
蔡耀祥:当今,全球绝大部分数据还是存储在HDD上,HDD依旧是企业级数据中心、云服务提供商(CSP)以及超大规模云业务领域首选的数据存储解决方案。该技术在TCO上的优势目前还不可替代,对于数据中心而言尤为如此,更大单盘容量的HDD可以在不增加实际占地面积的情况下有效扩展容量,从而降低每TB所需的功率、功耗以及冷却成本。
●举例来说,如果使用22TB的HDD而非16TB的HDD来存储2PB的数据,所需要的服务器数量可以减少27%,每TB所需能耗也将降低26%,这意味着由此而减少的服务器、网络设备、机架、电力、冷却和占地空间会给基础设施的采购成本以及维护成本带来非常多的效益。
西部数据也一直在推动该领域的技术发展,比如UltraSMR、OptiNAND和ePMR等。所有这些都是为了增加区域密度,提供更可靠、容量更高、功率更低的HDD,帮助企业级用户和云数据中心采用更可靠、低成本、低能耗的方式存储更多数据,以进一步挖掘数据价值。
宋家雨:未来HDD技术发展的主要技术路径有哪些?
蔡耀祥:西部数据将延续采用现有的技术,通过氦气封装、叠瓦式记录(SMR)、能量辅助磁记录(ePMR)、三阶寻轨定位系统、OptiNAND、以及创新的UltraSMR技术,不断实现容量和密度的扩展。西部数据也将基于自身的技术优势不断创新,并对市场上的创新技术时刻保持关注。
宋家雨:西部数据主要的技术选择和重点,以及技术优势?
蔡耀祥:随着云服务市场的蓬勃发展和不断细分,企业级用户和云数据中心既需要大容量,也需要高性能,还需要降低TCO,为当下企业级HDD和SSD提出了多样化的需求,同时也为市场带来创新技术和产品的更多机遇。
1) 针对HDD领域,西部数据把很多存储技术,包括能量辅助磁记录(ePMR)、叠瓦式磁记录(SMR)、最新的OptiNAND和UltraSMR技术融入到大容量HDD中,来满足云服务商对存储密度、访问时间、总体拥有成本、高可靠性、性能、容量、可扩展性等方面的不同需求。
●产品层面,西部数据可提供大容量HDD,例如通过OptiNAND提升面密度的单盘容量达到22TB的Ultrastar DC HC570;以及采用了UltraSMR技术的26TB Ultrastar DC HC670 UltraSMR HDD。
2) 针对SSD领域,其应用场景将更为复杂。在企业级SSD领域,西部数据拥有三大核心技术优势,即集成完全自主的NAND Flash、先进的SSD控制器和高性能固件于一体,并不断推陈出新,带来低延时、高性能,以及更高的可扩展性的SSD解决方案。西部数据联合铠侠于今年成功推出了新一代的218层3D闪存,利用具有四个平面的1Tb TLC(三级单元)和QLC(四级单元),采用创新的横向收缩技术,将位密度提高了约50%。NAND I/O速度超过 3.2Gb/s,比上一代产品提高了约60%,同时写入性能和读取延迟方面改善了约20%,提供了更高的性能和可用性。
●产品层面,西部数据提供包括Ultrastar DC SN840、SN650、SN655等针对不同需求的企业级SSD产品,满足丰富多样的应用需求。其中,2023年发布的企业级SSD产品Ultrastar DC SN655是一款高性价比的双端口、大容量PCIe Gen 4.0 NVMe SSD,基于西部数据BiCS5 TLC 3D NAND技术,将容量从3.84TB扩展到15.36TB,专为需要高性能、大容量的企业级存储客户设计,适用于如分解存储、对象存储、存储服务器和其他任务关键型应用程序和工作负载。
总结来看,西部数据是一家拥有HDD和Flash两种主流存储技术的公司,并不断基于此进行技术和产品的扩展,为整个存储行业和生态提供丰富的产品线,赋能各个领域。
宋家雨:NVMe存储访问协议的出现,为追逐极致的SSD性能创造了条件,但是NVMe没有办法兼容磁盘技术,未来在存储访问协议上就出现了NVMe、SCSI两条道路并存的局面,也带来管理上复杂性,未来会如何演变?
蔡耀祥:1)随着用户对海量数据快速响应时间的要求越来越高,云服务提供商和原始设备制造商的数据中心架构师们正在进一步加大对 NVMe和 NVMe-oF的投入,并将其纳入自己的 IT 基础架构。NVMe专为高性能和非易失性存储介质而设计,与 SAS 等传统协议相比,它能以更小的基础设施占用空间处理繁重的的应用工作负载,帮助企业在数字内容不断增长的当下,降低总体拥有成本、实现业务增长。NVMe-oF 则通过在服务器之间共享闪存资源,进一步发挥了 NVMe 的性能优势,从而提高整体的性能、可用性和灵活性。我们将看到通过NVMe-oF分解和共享闪存以提高存储资源的性能、可用性和灵活性将成为一个逐渐增长的趋势。今年夏天,西部数据在 NVMe 和 NVMe-oF 领域进行了创新拓展,推出了增强型OpenFlex Data24 3200 NVMe-oF JBOF/存储平台、新一代RapidFlex A2000和C2000 NVMe-oF高速网络架构设备(FBD)和全新 Ultrastar DC SN655 PCIe Gen 4.0双端口 NVMe SSD。这些产品能够以规模化的卓越性能满足持续变化的工作负载需求,帮助企业级、云数据中心客户实现面向未来的存储战略。通过这种新一代、变革性的共享闪存方式,西部数据致力于为企业的业务带来更大的价值。
2)西部数据提供针对不同协议的存储产品和解决方案,对市场上出现的新协议和新技术也时刻保持关注,为企业的存储基础设施建设提供丰富的选择。
宋家雨:随着大容量HDD技术的应用,应该如何应对HDD损坏所引发的数据恢复速度慢的问题?
蔡耀祥:西部数据致力于提供高品质和高可靠性的产品,力求通过持续创新和严格品控将产品的故障率降到更低,并为产品提供配套的有限质保服务。此外,我们也积极开发创新技术来保证紧急情况下数据的可保障性,例如搭载了OptiNAND技术的HDD产品拥有ArmorCache写缓存数据安全功能,为客户提供写缓存启用(WCE)的性能和写缓存禁用(WCD)的数据保护,在紧急断电(EPO)的情况下提升数据保护能力。在发生EPO事件时,相比上一代HDD,OptiNAND还可以安全地刷新和保留近50倍的关键硬盘元数据。这降低了紧急断电(EPO)期间发生长尾故障模式的可能性,并降低了硬盘故障或数据损坏的发生率。
宋家雨:通过大量HDD并行提高系统性能的存储系统设计方式,这个方式未来会如何演变?在HDD容量、数量之间,怎样才是更好的取舍?
蔡耀祥:数据中心或服务器通常会配备 RAID 卡以提高性能,但相应地,成本也随之上升。随着数据量呈指数级增长,数据中心对存储容量的需求也在持续增长。而西部数据长期以来不断在探索的就是提升单盘HDD的容量,通过这种方式,可在不增加额外机架空间、功耗和冷却成本的情况下提高存储容量。2021年,西部数据发布了OptiNAND技术,通过将闪存和HDD融合,在提升磁道密度(TPI)的同时,也进一步提升了HDD的性能和可靠性,通过这样的有机结合,帮助企业在降低TCO的同时,提升HDD存储系统的整体性能。未来,西部数据将继续凭借OptiNAND、以及基于OptiNAND和SMR推出的创新UltraSMR技术,实现容量增长,不断基于自身的技术优势扩展创新。
此外,针对不同的使用场景,会产生性能、TCO和功耗上的不同需求,依靠单一产品无法全部满足。西部数据通过针对超大规模客户的数据应用场景的深度研究和沟通,为他们提供定制化的HDD及SSD存储解决方案。
宋家雨:您预计SSD、HDD会在多长时间内并存?它们各自适合的角色定位是什么?
蔡耀祥:在可预见的未来,HDD和SSD将继续共存,因为它们能为不同的工作负载和使用场景提供各自特定的价值和优势,如容量、吞吐量、使用寿命、功耗、成本、性价比、可扩展性等。因此,用户需要从不同方向、针对不同场景优化存储产品组合。
西部数据一直倡导分层数据管理,将数据分为五类,即极热数据、热数据、温数据、冷数据和极冷数据。极热数据就是指数据需要特别高频的读写、低延时和更多的交互数据。热存储需要实现低延时、高性能,比如现在非常热门的自动驾驶。依此类推到极冷数据,包括金融、医疗数据等,这些需要长期存储的,很少情况下会被调用的数据。
● HDD是温数据、冷数据、极冷数据存储的首选。西部数据开发出闪存增强型HDD的 OptiNAND 技术。基于该技术,西部数据的22TB Ultrastar DC HC570 CMR HDD将存储容量、性能和可靠性提升至新的高度。除此之外,西部数据更是通过将 OptiNAND 技术与采用 HDD 系统级硬件优势的专有固件相结合而研发出了UltraSMR 技术,并引入了大数据块编码和先进的纠错算法,增加了每英寸磁道数(TPI),以实现更高的容量,也推出了26TB Ultrastar DC HC670 UltraSMR HDD,更进一步帮助降低TCO。
● 对于极热数据和热数据来说,SSD是好的选择之一。西部数据的企业级SSD拥有三大核心技术优势,即集成完全自主的NAND Flash、先进的SSD控制器和高性能固件于一体,这种纵向集成的能力能够让SSD实现性能和稳定性的极致优化,确保SSD生命周期稳定的I/O一致性。西部数据成功在今年携手铠侠推出了第八代218层3D闪存,在性能、密度和成本效益方面实现了重大飞跃。产品层面,西部数据也提供了SN840、SN650、SN655等针对不同需求的企业级SSD产品,满足丰富多样的应用需求。
西部数据拥有独特的设计、调试和优化能力,开发、制造并销售的内容囊括了从NAND、SSD、HDD和平台在内的一系列品类,提供数据平台、连接平台、技术产品等丰富的产品组合,充分地满足在当下和未来以数据为中心的环境,对性能、可靠性、总体拥有成本和可持续性的需求。