Intel宫兴斌:Optane搭配QLC加速数据中心存储变革

2018年12月12日,中国存储与数据峰会第二天的闪存存储与应用论坛上,英特尔(中国)首席存储架构师宫兴斌介绍了Optane搭配QLC加速数据中心变革的话题,短短几分钟的介绍能感受到英特尔在新技术上的创新性和引领性,一场以闪存介质创新为由掀起的数据中心存储架构变革已近在眼前。

Intel宫兴斌

英特尔(中国)首席存储架构师宫兴斌

从SLC,到MLC到TLC到现在的QLC,不断创新的NAND存储技术让SSD容量越来越高,但QLC本身有很多问题,将QLC从实验室拿到实际应用中本身很有挑战性。

Intel独有的基于3D Xpoint的Optane有仅次于DRAM的性能,耐久性、稳定性、延迟等表现也远超普通3D NAND SSD,如此特性与3D QLC NAND SSD搭配互补竟有神奇的变化,全新的方案在将存储各项性能大大提升的同时,而且不给用户带来额外的成本负担。如此加量不加价的方案势必在数据中心掀起一股波澜。

以下内容由笔者根据现场速记整理精简校对,供读者参考学习,如发现有遗漏错误,还请在文末留言批评指正:

宫兴斌:很高兴在这里跟大家分享我们看到的存储行业最新的一些技术,希望透过这些产品方案能帮助大家看到未来数据中心的变化趋势。

从SLC到MLC到TLC,现在终于到了QLC,虽然QLC有一些缺点,但我们还是对它充满了期待,因为QLC能大大降低成本,如今的数据中心成本仍旧非常重要,如何降低成本对用户很重要。

我们正处于数据爆炸的时代,数据分析非常慢,我们从容量、性能、成本三个角度看存储,DARM性能是最好的,但容量受限,成本也太高,容量扩展受限。NAND能够提供大容量存储,比DARM要便宜的多,但性能比较差,HDD(磁盘)最便宜的介质,TCO是比较好,但性能更差一些。

想要从每天获取的海量数据中提取一点有用的信息时,当前的整个架构存在差距。

Intel关注两种存储技术:

第一种,低成本、高密度的基于3D NAND的产品,解决数据中心容量型数据存储问题。另外一种是傲腾高性能存储,主要用于数据中心热点数据的存放。英特尔用3D NAND挤压磁盘市场,作为新的发展方向,未来基于QLC的Ruler容量会越来越大,外形上会推出短尺子的版本。

现在的数据中心对空间、功耗、制冷要求都很高,大家希望用1U的空间就能够存放1个PB的数据,这就是尺子的应用场景。

Optane是一种全新的存储介质,它跟之前的NAND很不一样,NAND的读写方式和后台垃圾回收需要很多操作。Optane的存储介质不存在垃圾回收操作,优势在于它的读写IO是均衡的,随机读和随机写都能够做到一样的IOPS。

从延时的角度看,Optane采用的介质延时比较低,延时表现不在乎是随机读还是随机写,即使是在很严重的写的情况下,读延时依然很低,依然可以做到10个微秒左右。

Optane采用的介质即使在很低的延时下依然有很高的QoS表现,带宽可以很高,使用寿命也很高。

使用任何一种新技术都需要做很多工作,当我最开始做SSD的时候,很多用户就问我拿到SSD是不是可以马上提升性能,实际上还有很多工作需要去做。这里我们讲有三步,第一步部署产品,第二个做优化,第三个是进化。

部署部分,我们先考虑本地存储怎么做?我们可以基于Optane加上自己的Cache软件或者SPDK来做本地优化加速存储。第二种,可以用Intel的内存驱动技术去做内存的扩展。第三个,可以针对远端的存储,比如SAN存储做本地的Cache,这种组合解决Optane性能好但容量有限的问题。

QLC随机读写会存在一些问题,寿命也不如TLC,但顺序读可以弥补以上缺陷。高性能的Optane加上大容量的QLC NAND产品降低成本达到一个均衡状态。

如图可见,第一个图可以看到所谓的响应能力,这个图在说,当我们在写的负载越来越大情况下的延迟表现,灰色曲线是英特尔基于NAND的产品,它会随着写的增大,平均读的延时线性增加的,而且抖动很大。横轴蓝线是Optane的延迟表现,高负载下延时依然维持着一条水平线。

我们看一款产品的延时,不是看纯读或者纯写下的表现。Optane现在可达到60个DWPD,非常适合做Cache。用户只需要一块375G的Optane就能够做大容量存储的Cache,无论性能还是寿命,都比用NAND做Cache好的多,效果和投资回报率都要好很多。

上图中,我采用IMDT软件将Optane当内存使用,可以替换一些昂贵的DRAM。

Spark是一个典型吃内存的场景,Optane加上IMDT把原始内存扩大,尽量让所有数据都放在扩展内存里面,这样就减少了数据逐渐上层迁移的过程,这样可以主机充分利用内存,可以起更多线程,降低处理时间。从图中可见,原来可能需要66分钟的操作,现在只需要13分钟,相对于之前的运行时间缩短了5倍。

Intel除了在存储硬件方面的积累,还有个强项在于可以做各种应用的优化,任何一个新的硬件技术,没有做优化很难发挥性能,这种优化无处不在。      

下图展示的是优化带来的好处,之前如果采用文件系统的Buffered  I/O,基准线可以看到横轴,现在使用的EXT4的特性优化,最高性能可以提升48%。

怎么去优化呢?

Intel可以帮助大家,Intel提供了很多优化工具,包括SPDK、SSM、PMDK,另外Intel也提供了很多在线实验环境,让大家能够真正地去感受。可以通过https://www.acceleratewithoptane.com/这个网站去验证Optane的产品性能。

Ruler第一代是由Intel来主导的,后续像国外的Facebook、谷歌、微软都有这样的需求,所以接下来出现一个新的接口edsff。早期的SSD有一些私有协议,当NVMe出来以后,我意识到我们已经进入了NVMe时代,NVMe以生态为目标,各种OS都可以支持NVMe驱动,有健康的生态产品才会做好,用户才会用的更好。

我非常同意QLC降低用户使用成本的说法,但需要找到适用的场景,哪些场景会比较适合QLC?

通常在温数据存储下,都是TLC NAND和HDD搭配使用,TLC SSD用做缓存,这时候其实就可以把他们全都换成QLC的产品,通过这种换的方式可以大大缓解以前HDD访问速度慢的问题,同时可以让整体性能更加一致,会比之前的从TLC+HDD提升的更好。

Intel有两种QLC的产品:一个是P4320,一个是P4326。

QLC Optane

这里有一个实际应用案例。腾讯CDN应用中,原来的缓存用的是3D TLC NAND,容量层用的是传统的HDD。腾讯的CDN通过把TLC和HDD换成QLC的3D NAND产品,一方面性能得以提升,而且能降低使用成本。

灵活性方面,去年发布的处理器平台对NVMe的支持会更好,解决了之前NVMe没法做Raid的问题。但我们的应用当中会有很多临时数据需要存储,存储当中会涉及一些分层,有一些需要做缓存的使用场景,这可以通过我们的P4800X去做。对于远端的存储,我们推荐采用QLC的3D NAND SSD。

下面vSAN的案例中,原来我会用Intel的P4610做Cache,用Intel SSD DC4510做容量存储,我现在Cache层用Optane,用QLC的D5-P4320做容量存储,它带来的好处就是4倍的IOPS,降低了4倍的延时。新的组合当中,整个TCO下降了10%。

我们看到,在一些应用当中,完全可以通过Optane+QLC的组合替换TLC加上磁盘的组合,有了Optane做Cache,还可以把一些小的IO做整理,降低写的次数,减少写放大,提升QLC盘的使用寿命。

在Ceph的场景中,原来所有的存储都是用四块8TB的TLC SSD,现在采用四块8TB的Intel QLC SSD,加上一块750G的Optane P4800,会发生什么呢?首先是读和写的P99延时降低了50%,IOPS升了40%,Optane P4800用作cache,QLC NAND SSD用做容量存储,然而,两种方案的成本非常相近的,成本相差2%左右。

最后我们看一下DRAM、Peristent memory和SSD对比。这三者对比,最主要在于能够帮助大家在不同的应用选择合适的产品。从这张图来看,如果原来我采用NAND产品,现在不做任何优化,只换一个新的Optane产品,性能提升可能只有30%。

做一些软件上的优化,它的性能提升到2.5倍。如果采用Peristent memory去做优化,这个性能提升可以达到9倍,也就是说,通过新的Optane技术,能够把很多应用架构重新改写。

最后给大家看一下优化相关的各种资源,这里大家都可以上网去找,包括SPDK、SSM、PMDK,你可以登陆这个网站熟悉Optane和一些软件优化相关信息。

今天我的分享就到这里,谢谢大家!