亚马逊云科技宣布全新高性能对象存储Amazon S3 Express One Zone正式可用

2023年12月8日 亚马逊云科技在2023 re:Invent全球大会上,宣布Amazon Simple Storage Service(Amazon S3)Express One Zone正式可用。这一种全新的高性能、单区域的Amazon S3存储,专为客户延迟极其敏感类应用程序而设计,为其提供一致、个位数毫秒级的数据访问。

Amazon S3 Express One Zone是延迟极低的云对象存储,与Amazon S3 Standard相比,数据访问速度提高至多10倍,数据请求成本降低50%,在亚马逊云科技区域内的所有可用区均可使用。对于最严苛的工作负载,客户可以将Amazon S3 Express One Zone数据与计算资源放置在同一个亚马逊云科技可用区中,优化计算性能和成本,并提高数据处理速度。Amazon S3 Express One Zone为机器学习训练和推理、交互式分析以及媒体内容创建等请求密集型工作负载提供最高性能存储。客户使用Amazon S3 Express One Zone可以按需扩展或缩减存储容量,并继续使用既有的Amazon S3 API。

Amazon S3自17年前推出以来,已成为最受欢迎的云存储服务之一,在全球拥有数百万各行各业的客户。凭借领先的持久性、可用性、安全性和可扩展性等优势,Amazon S3存储了超过350万亿个对象,平均每秒处理超过1亿次请求。Amazon S3提供广泛的存储级别,为频繁访问、不经常访问和归档数据访问模式提供了最佳性能和最低成本,适用于几乎所有工作负载。然而,随着新的使用场景的出现,如机器学习训练和推理、交互式分析、金融模型模拟、实时广告和媒体内容创建,这类工作负载可能每分钟写入和访问数据达百万次,并需要一致的、毫秒级的响应时间以满足性能需求。例如,人工智能(AI)和机器学习模型训练通常需要在几分钟内处理数百万张图片和文本行,因此数据访问速度对于实现最高的计算效率至关重要。为了减少性能关键型应用的存储延迟、应用运行时间和计算成本,客户通常会将频繁访问的数据从Amazon S3移至自定义的缓存解决方案中。客户使用多组API需要维护额外的存储基础设施,这不但增加了复杂性和运营负担,还需要修改应用程序。在数据复制到实例时,计算基础设施必须保持运行状态,这也导致了计算资源的闲置,并增加成本并降低效率。

Amazon S3 Express One Zone是一种全新的高性能存储级别,为对延迟极其敏感的应用程序,提供具有最快的数据访问速度和最高性能的云端对象存储。通过在专门构建的硬件和软件上复制和存储数据,Amazon S3 Express One Zone的访问速度比Amazon S3 Standard提高了至多10倍,加快了数据处理速度。为了进一步提高访问速度并支持每分钟数百万次的请求,Amazon S3 Express One Zone将数据存储在新的存储桶类型,一个Amazon S3目录存储桶中。过去,客户需要选择一个特定的亚马逊云科技区域存储Amazon S3数据。在一个亚马逊云科技区域内,客户现在可以选择将他们的Amazon S3 Express One Zone数据与计算资源放置在同一个亚马逊云科技可用区中,以满足严苛的工作负载需求,降低计算成本,同时提高工作负载的运行速度。Amazon S3 Express One Zone允许性能关键型应用程序(如查询密集型分析)在高持久性和可用性的情况下实现个位数毫秒级的数据访问速度;同时,与Amazon S3 Standard相比请求成本降低高达50%,计算成本降低60%。例如,数据分析师经常查询PB级数据,处理数据的速度对于及时做出业务决策至关重要。通过Amazon S3 Express One Zone,因为数据访问速度比Amazon S3 Standard快了10倍,数据分析师查询数据湖的速度提高了4倍,并降低了分析工作负载的时间,从而更快地获取洞察并做出决策。Amazon S3 Express One Zone使客户能够按需扩展或缩减存储,同时因为客户的应用程序能够通过相同的Amazon S3 API访问数据,客户无需为低延迟工作负载管理多个存储系统。

“数百万客户使用Amazon S3来满足从低成本归档存储到PB级数据湖的各种存储需求,他们希望能进一步支持那些每毫秒都至关重要的性能密集型应用。”亚马逊云科技Amazon S3总经理James Kirschner表示,“Amazon S3 Express One Zone为延迟极其敏感的应用程序提供了最快的数据访问速度,客户对其高访问量数据集可实现每分钟数百万次请求,同时降低了请求和计算成本。”

客户只需几次点击,便可以创建一个新的Amazon S3目录存储桶,并直接将新对象上传到创建的Amazon S3目录桶中,或者通过Amazon Management Console中的Amazon S3 Batch Operations 从其他Amazon S3存储类别中的现有数据集复制对象。Amazon S3 Express One Zone支持Amazon S3的功能,包括Mountpoint for Amazon S3、Amazon S3 Server-Side Encryption和Amazon S3 Block Public Access,以及如Amazon Elastic MapReduce(Amazon EMR)、Amazon Redshift、Amazon SageMaker和Amazon Bedrock等其他亚马逊云科技服务。Amazon S3 Express One Zone目前已在美国东部(北弗吉尼亚)、美国西部(俄勒冈)、欧洲(斯德哥尔摩)和亚太(东京)地区正式可用,并将很快在其他亚马逊云科技区域可用。

数据分析领域的领导者ChaosSearch提供能够帮助企业以极高的效率做出数据驱动决策的解决方案。 “ChaosSearch的独特之处在于我们部署在本地的Amazon S3数据湖,它支持SQL、搜索和基于大型语言模型的查询。”ChaosSearch创始人兼首席技术官Thomas Hazel表示,“我们受益于Amazon S3卓越的可扩展性、持久性、可用性和安全性,现在它又为大规模高性能分析提供了强大的动力。借助Amazon S3 Express One Zone,我们查询的速度提高了60%,我们因此更够更快的获得洞察,更低的查询成本带来明显的成本节约,而所有这些都无需进行任何代码修改。”

Cloudera是一家混合数据平台提供商,为全球各行各业的客户提供安全的数据管理和分析。“客户使用我们的平台构建开放的数据湖仓,并利用AI和数据分析从他们的数据中获取业务价值。” Cloudera产品管理副总裁Jim Clark表示,“仅凭借Amazon S3 Express One Zone的数据访问速度,我们的客户就可以实现高达40%的读写性能提升,从而更快地从数据中获得洞察和价值。我们正在积极推动在Cloudera上支持Amazon S3 Express One Zone,提高性能的同时帮助客户降低云基础设施成本。”

Colorfront致力于为电影行业开发高性能数字处理技术。“Colorfront将高性能GPU架构与Amazon S3 Express One Zone集成,实现对文件进行转码、解码、转换和封装到各种格式的加速处理。”Colorfront解决方案工程总监Brandon Heaslip表示,“借助Amazon S3 Express One Zone个位数毫秒级的数据访问速度,Colorfront的客户可以将数字视频处理速度提高70%,满足了流媒体传输中多样化的媒体和娱乐需求,并保持数字视频的标准。”