架构万亿字节新时代:分区存储技术SMR和ZNS磁盘来了!

IT圈的人都知道有个“摩尔定律”,但摩尔定律也面临着失效。摩尔定律失效的原因在于,半导体制程工艺逼近了极限。

磁盘技术也是如此,为了实现单盘14TB存储容量,需要使用氦气和激光封装这样的技术。如果需要更高的单盘容量,传统技术,也就是CMR(Conventional Magnetic Recording, 传统磁记录)技术力不从心,需要采用新的制造技术。

SMR(shingled magnetic recording,叠瓦式磁纪录)技术就是其中之一。但是SMR在随机写操作时,需要先将叠瓦布局中重叠磁道部门的数据迁移走,这需要操作系统以及应用程序等的支持,对于客户实际部署要求较高。也是因为这个原因,SMR磁盘很难与CMR无缝衔接,但SMR在单盘存储容量方面的潜力,对于爆炸式数据增长带来的存储需求,还是极具诱惑力。

解铃还须系铃人,既然发挥SMR在单盘存储容量方面的优势,同时也要扫除影响SMR使用的障碍。其实不仅仅是SMR,同时需要考虑支持SSD问题,SMR、SSD的需求同时存在。

这就是西部数据分区存储技术的技术背景。

6月12日,西部数据公司在美国、中国同步发布了分区存储技术。

分区存储技术的核心是实现SMR-HDD、ZNS-SSD同一架构下的数据存储和访问。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计,从软件栈的角度,为SMR-HDD应用扫除障碍,同时兼顾SSD的需要。

为了推动分区存储技术使用,西部数据采取了开源策略,开发者、生态合作伙伴可以通过ZonedStorage.io 访问来获取这些开源的信息。

按照计划,西部数据会在今年发布20TB容量SMR-HDD磁盘,现阶段,可以使用Ultrastar DC HC620 SMR 15TB HDD,以及Ultrastar ZNS NVMe SSD。目前西部数据Ultrastar DC HC620 SMR15TB硬盘已批量出货。此外,在今天的分区存储技术媒体发布会上,西部数据将展出20TB SMR HDD–您也可以关注西部数据6月14日的云存峰会直播 ,了解更多关于20TB SMR HDD的信息。

从14TB CMR-HDD到20TB SMR-HDD,为了20%左右的磁盘容量提升,犯得着为此大动干戈吗?

<由左至右:西部数据公司产品市场部副总裁-Eyal Bek、西部数据公司产品市场部副总裁-朱海翔以及西部数据公司高级副总裁兼中国区总经理-Steven Craig>

为此,西部数据公司高级副总裁兼中国区总经理Steven Craig、西部数据公司产品市场部副总裁Eyal Bek以及西部数据公司产品市场部副总裁朱海翔在主题演讲中指出:海量数据增长,其中视频数据是主要的推手,这些数据具有显著的顺序写入,和一定程度的随机读取特征。

为了满足这些类型数据增长的需求,需要SMR-HDD提供更好的性价比。

对于ZNS-SSD来说,系统端采用和SMR-HDD通用的软件栈可以大幅降低写放大次数,同时显著减少SSD内置DRAM以及OP(预留空间)的用量。

新的分区存储技术可以非常高效地把记录介质(即SMR磁盘、ZNS SSD)内的数据安置组织方式,也就是将其中的Zone table 管理权合理让渡给操作系统和应用软件,对上层系统可见;这意味着应用层能够最大限度地使用底层介质存储容量,同时发挥存储磁盘或者SSD的随机读取特性,进而实现数据流处理和存放过程的全系统智能化。

对于西部数据来说,ZonedStorage.io 开源无异于万里长征迈出的第一步。

ZonedStorage得到了SUSE、ATTO、Microchip、Broadcom等伙伴的支持,为此,Steven Craig乐观的估计,2019年将成为SMR-HDD、ZNS-SSD起步的元年,未来随着生态系统的日渐成熟,SMR-HDD的市场份额会逐步扩大,预计到2023年会超越CMR-HDD

随着ZB字节新时代的到来,更应该要使用更有效地存储方式,才能有效的解决未来更大规模的数据存储需求,而随着分区存储技术推出的SMR-HDD和ZNS-SSD不正是为此而生的理想解决方案吗?