或许是存储部分太过于成熟了,以至于许多新的发布都被媒体有意无意的忽视了,2021亚马逊云科技(以下简称AWS)re:Invent给人一种存储产品技术发布的比较少的错觉。其实不然,re:Invent大会上关于存储的动态一共有十条,关于计算的才8条,关于网络的才3条。
AWS副总裁Peter DeSantis的主题演讲中,最先谈的就是存储,2021年,AWS将Amazon S3存储的七个存储层级升级到了9个层级,最经典的存储仍在不断进化。
作为看数据存储更多的媒体,自然免不了聊点略显枯燥的存储,为了看起来没那么枯燥,我尽量找几个有意思的说说,不得不说,AWS存储还是有挺多骚操作的。
降本增效新举措,自研Amazon Nitro SSD
首先第一个就是发布关于Nitro SSD的,亚马逊云科技大中华区产品部计算与存储总监周舸在面向中国媒体的有限时间里,也花较多篇幅介绍过闪存产品,新的Nitro SSD。此前我们也单独聊过。
AWS自研SSD一方面在于可以更可控地输出一致性能,更大的意义就是掌握了NAND SSD Firmware固件自由更新的权利,此次发布,意味着AWS对基础架构的掌控力进一步提升。
其实,SSD根据使用场景不同,对性能和成本的优化空间很大,也能带来降本增效的效果。比如,有一些云厂商通过极致的操作可以省下OP的空间,也有的云厂商开始使用更具经济性的QLC NAND,更细致的操作还有很多。
总之,SSD的技术创新对于云厂商也非常重要。AWS不是第一家自研SSD的云厂商,也不会是最后一家。
磁带数据也能快递上云了——Amazon Snowball Edge
大家对于AWS的硬件都格外关注,比如1U和2U的Amazon Outposts就很吸引眼球,Snow家族,包括Snowball,Snowmobile,Snowball Edge,Snowcone都是物理数据搬迁服务,Snowball Edge支持把数据从磁带里迁移到AWS数据中心里的S3上。
连磁带归档都照顾到了,AWS为所有可能上云的数据都打开了大门。磁带数据上云后,存在Amazon S3 Glacier上,企业仍可以沿用原来基于磁带的数据备份和恢复工作流程,因为,它能在AWS的存储网关上来创建虚拟磁带库,能照顾用户原有的使用习惯。
Snow家族的迁移服务目前只在部分区域可用,在中国市场也特别值得期待,因为中国快递物流的效率比较高,可能实际用户体验会比美国本土更好,这可能是极少数落地能中国水土更服的云服务了。
值得一提的是,Snow家族的迁移不只是从本地迁移到AWS数据中心,也能反向交还数据,这是容易被忽视,被用户担心的点,用户可以放心,云上的数据不会随便被风吹跑。
对象存储Amazon S3:归档存储层也支持立即访问
Amazon S3 Glacier是著名的云上低成本归档存储,归档存储就像是摆在书架最高最里面的那排书,可能几年都不会拿出来看一次的那种,想拿出来看一次也需要等很长时间,原来的S3 Glacier的数据访问时间大概是几分钟到几小时之间。
而S3 Glacier Instant Retrieval存储层级要做的是那种既能低成本地做归档,同时,也能毫秒级响应的这种特别的场景,它是S3的一个新的存储层级,它利用了S3智能分层技术,它能降低存储成本,它为归档存储提供了立即访问的能力。
它的延迟和带宽性能表现与标准的S3和S3 标准IA(不经常访问)存储层级一样,而且,与S3 标准IA相比,S3 Glacier Instant Retrieval能最多节省68%的成本。
新老用户都可以直接使用新的存储层级。新上传的对象可以直接选这一层,而原来S3里的对象可以转向S3 Glacier Instant Retrieval,随后,自动分层技术会自动帮用户在层级间迁移数据。
AWS表示,S3 Glacier Instant Retrieval适用于那些有不可预测访问模型和不断变化访问模型的场景,比如数据湖、数据分析等场景。
文件存储Amazon FSx的新功能
第一个更新关于Amazon FSx for Lustre,它支持让用户本地文件系统与S3对象存储进行双向数据同步,把S3桶与本地文件存储关联后,FSx for Lustre能让系统把S3当成文件存储来用,把数据直接写到S3里。
有许多应用的工作负载都需要不同的存储类型,S3对象存储适合用来做数据转换、准备或导入/导出任务,而有些则需要用POSIX文件系统的方式来访问数据,而Amazon FSx for Lustre可以让存储在S3上的对象与Lustre文件系统同步,满足多样存储需求。
第二个,Amazon FSx家族新增了OpenZFS文件系统,OpenZFS是又一个比较流行的文件存储系统,OpenZFS有几个功能特性非常吸引人:透明压缩、持续完整性验证、快照和写时复制。
FSx for OpenZFS是运行在Graviton处理器之上,支持行业标准的NFS协议和NFS的一些高级特性,OpenZFS的性能不错,支持最高达100的IOPS,延迟为100-200微秒之间,高达12 GB/s的压缩传输带宽。
适用于对存储要求比较高的场景,比如机器学习、EDA(电子设计自动化)、媒体处理、财务分析、代码存储库、DevOps 和 Web 内容管理工作负载等场景。
AWS数据保护方案Amazon Backup宣布支持S3和VMware
Amazon Backup是AWS的云上数据保护解决方案,这是一个全托管、基于策略的服务,可以跨多个云服务对应用数据进行集中化的备份和恢复操作。
目前支持包括AmazonEC2、 Amazon EBS、 Amazon RDS、 Amazon DynamoDB、 Amazon Neptune数据库、 Amazon EFS、 Amazon FSx、AWS存储网关等十二个AWS云服务。
Amazon Backup最新添加了对于S3的支持,也就是Amazon Backup for S3,它的意义在于,不仅能跨多种服务进行集中备份和恢复,还能满足用户对于备份合规性的要求。
AWS Backup for S3支持连续的基于时间点的备份,也支持定期备份操作,第一次备份是全量备份,后续都是增量备份,如果发生中断时候,则可以从备份中挑一个来进行恢复,可以恢复到原来的S3桶里,也可以恢复到新的桶里。
AWS Backup是AWS近几年新推出的服务,AWS Backup的操作逻辑与原来本地的数据备份和恢复方案基本一致,目前AWS Backup for S3还处于预览版状态。
虚拟机备份是数据保护系统的一个非常重要的方面。AWS发布的还有AWS Backup for VMware 和 VMware Cloud on AWS,支持对VMware本地虚拟机和运行在AWS云上的VMware虚拟机进行备份。
AWS的数据保护方案基本成型。
块存储Amazon EBS的新功能
第一个是EBS快照功能,创建快照简单,删除也简单,一不小心删除之后想要恢复可就难了,为了给用户一次后悔的机会,EBS加入了快照回收站。
第二个是EBS快照归档功能,出于安全和合规性的要求,经常需要会给EBS做很多快照并长期保存这些快照,快照归档功能可以把快照归档到Amazon Glacier上来降低成本。
结束语:
以上就是AWS在re:Invent 期间发布的关于存储产品的动向,存储作为基础服务仍在不断延展,虽然看着不如Graviton那么吸引眼球,但也非常非常重要。
2021年上半年,关于《AWS已经成了全球最大的存储公司》的说法引起了不小轰动,如果把AWS看成一家大型存储公司,也不是不行。
过去几年来,AWS存储在服务类型以及性能方面不断提升,随着数据保护方案的加入,基本补充了AWS在数据存储领域的最后一块短板,本地存储能做到的,云端存储基本都能做到了。