始于2012年的亚马逊云科技re:Invent全球大会,一直是全球云计算领域的行业风向标。2021年进入re:Invent的第十个年头,亚马逊云科技的风头不减,再次以大量的创新惊艳业界,让人目不暇接。综观2021 re:Invent的新技术和产品发布,可以看到云计算发展的五个显著趋势。
【2021 re:Invent观察之一】自研芯片成就亚马逊云科技的算力优势
在re:Invent上,亚马逊云科技重磅推出了三项自研底层技术。
新推出自研通用计算处理器。亚马逊云科技宣布新一代基于Arm的自研CPU处理器Amazon Graviton3。这是亚马逊云科技自研设计的第三颗CPU处理器。
由Amazon Graviton3处理器支持的C7g实例与由 Graviton2 处理器支持的当前一代 C6g 实例相比,可将计算密集型工作负载性能提高多达25%。Amazon Graviton3处理器与Graviton2相比,为科学计算、机器学习和媒体编码工作负载提供高达2倍的浮点运算性能,为加密工作负载速度提升高达2倍,为机器学习工作负载提供高达3倍的性能。
Amazon Graviton3处理器的能效也更高,在相同性能下,与同类型EC2实例对比,可节省高达60%的能源消耗。C7g实例是云中第一个采用最新DDR5内存的实例,与基于Amazon Graviton2的实例相比,它提高了50%的内存带宽,从而提高了科学计算等内存密集型应用的性能。
与基于Amazon Graviton2的实例相比,C7g实例的网络带宽也高出20%。C7g 实例支持 Elastic Fabric Adapter (EFA),允许应用程序直接与网络接口卡通信,提供更低且更一致的延迟,提高需要大规模并行处理(如高性能计算和视频编码)的应用程序的性能。
新推出自研机器学习训练芯片。亚马逊云科技去年re:Invent 上宣布研制机器学习训练芯片Amazon Trainium,在今年的re:Invent上宣布提供基于Trainium的实例。
由Amazon Trainium芯片支持的Trn1实例为在Amazon EC2中进行深度学习模型训练提供最佳性价比以及最快的训练速度,与P4d实例相比,通过Trn1实例训练深度学习模型的成本降低多达40%。Trn1实例提供800Gbps EFA网络带宽(比最新基于GPU的EC2实例高两倍),并与Amazon FSx for Lustre高性能存储集成,让客户可以启动具有EC2 UltraClusters功能的Trn1实例。通过EC2 UltraClusters,开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器,让客户按需访问超算级性能,即便是最大型和最复杂的模型,训练时间也可以从几个月缩短到几天。
新推出自研固态硬盘。亚马逊云科技还发布了采用全新Amazon Nitro SSD固态硬盘的Im4gn/Is4gen/ I4i实例,可为I/O密集型工作负载提供超高存储性能。通过自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i实例提供高达 30 TB 的 NVMe 存储,与上一代I3实例相比,I/O 延迟降低了 60%,延迟可变性降低了 75%,从而最大限度地提高了应用程序性能。Amazon Nitro SSD通过优化存储堆栈、虚拟化管理程序和硬件与Amazon Nitro 系统紧密集成。与使用商用SSD相比,亚马逊云科技同时管理Amazon Nitro SSDs的硬件和固件,使SSD更新交付速度更快,让客户可以从改进的功能中获益。Im4gn 实例(现已可用)采用 Amazon Graviton2 处理器,与 I3 实例相比,性价比提高多达 40%,每 TB存储成本降低多达 44%。Is4gen 实例(现已可用)也采用 Amazon Graviton2 处理器,与 I3en 实例相比,每 TB 存储成本降低多达 15%,计算性能提高多达 48%。
亚马逊云科技首席执行官 Adam Selipsky 表示,“尽管我们已经如此努力地创新,我们依然意识到,如果希望针对所有可能的工作负载彻底变革计算的性价比,我们需要彻底重新思考实例。为了实现这个目的,我们需要深入底层技术,一直到芯片。因此,我们开始自己设计基于Arm的芯片。”
加大底层技术自研,对亚马逊云科技在这样的领先者来说,其意义在于实现“我有人无,人有我优”。纵观云计算业界,基础设施服务成为所有云服务商的基础服务,未来制胜的关键在于,谁能以更高的性能、更高的效率、更低的成本、更低的能耗提供这些服务。
【2021 re:Invent观察之二】大云无疆,无限拓展
作为全球覆盖超级广泛的云,亚马逊云科技基础设施遍及25个地理区域的81个可用区,并计划新建9个区域和27个可用区,有14个本地扩展区域、17个Wavelength区域,有108个Direct Connect光纤直连站点,有310个边缘站点和13个区域缓存站点。
在此基础上,亚马逊云科技宣布,2022年将在21个国家建设超过30个本地扩展区,让客户以更低的延迟服务其终端用户。亚马逊云科技2020年开始在美国建立了两个本地扩展区,2021年增加了12个本地扩展区。2022年,建立本地扩展区的步伐将进一步加大。
不仅如此,亚马逊云科技还通过一系列技术,将云延伸到亚马逊云科技的基础设施之外,包括Amazon Outposts、IoT 服务、Snow 家族服务,一直延伸到 Amazon Ground Station,让云扩展到了太空的卫星数据。Outposts将亚马逊云科技的云体验延伸到客户的本地数据中心,跟云端无缝连接。IoT服务、Snow家族将云的能力延伸到地球上各个角落。 Amazon Ground Station是卫星地面站服务,通过卫星地面站接收数据到亚马逊云科技区域进行处理。
亚马逊云科技推出新的托管服务Amazon Private 5G,则是让企业方便利用5G专网来连接企业内的联网传感器和边缘设备,并且通过亚马逊云科技控制台统一管理。
亚马逊云科技还发布了新服务Amazon Cloud WAN,将亚马逊云科技全球网络的优势带给企业,让企业的广域网跟云融为一体。
Amazon Cloud WAN让企业可以在全球的亚马逊云科技广域网络上建立、管理统一的云网络和监控全球流量。所有的远程用户和站点以及数据中心将使用 VPN 或直接连接到地理位置最近的地方,实际上在几分钟内亚马逊云科技就可以构建一个全球化网络服务。
【2021 re:Invent观察之三】一切为数据服务,数据创造价值
在re:Invent 全球大会上,亚马逊机器学习副总裁 Swami Sivasubramanian的主题演讲以《如何通过数据与人工智能进行创新》为题。Swami 指出,“数据是推动洞察的潜在力量,有助于更好地开展业务。”他列举了飞利浦医疗、纳斯达克等多种大数据的例子,”从大数据走向海量非结构化数据,事实上80%的数据是非结构化的。”
亚马逊云科技为数据服务提供了完整的、端到端的工具,从数据存储、到计算、分析、人工智能创新。利用广泛而深入的云服务,凭借在数据领域的产品创新与前瞻眼光,亚马逊云科技将助力企业实施现代化的端到端数据战略,实现数据驱动的创新。
现代端到端数据战略有三个要素:
● 数据架构现代化。不同的场景需要使用专门构建的工具,专门的工具需要专业的现代化托管平台,在这方面,亚马逊拥有无与伦比的成熟度和经验。
在已经很丰富的数据服务组合之上,亚马逊云科技又发布多个数据工具。
Amazon DevOps Guru for RDS是一个数据库性能工具,它利用机器学习,可以在几分钟内自动检测、诊断和解决难以发现的数据库性能问题。
Amazon RDS Custom 提供了 SQL Server支持,它通过托管式服务节省时间,帮助实现自动化版本维护与补丁升级,将宝贵的资源专注于更重要的业务。
另外一个重要的发布是Amazon Dynamodb 的新功能Standard-Infrequent Access表类,它可以将不频繁访问的表数据进行分类,DynamoDB 的存储成本降低60%。
Amazon Database Migration Service Fleet Advisor 是一个数据库迁移工具,它可以帮助客户选择最佳可用的计算实例和配置,用以部署机器学习模型,获得最佳的推理性能和成本,并且将过去数周才能完成的工作缩短到数小时。
● 统一分析数据。通过云上专门工具实现数据有机整合与统一,助力企业打破数据孤岛。
通过在亚马逊云科技上运行的数据湖,能够收集、存储和分析来自一系列分散系统的数据,助力业务发展。
亚马逊云科技为在 Amazon S3 上构建数据湖提供了无与伦比的耐用性、可用性和可扩展性,以及强大的安全性和分析工具,使用亚马逊云科技最新发布的数据湖构建工具,可以快速构建适合的数据湖,Amazon Athena 提供了一种有用的方法来分析所有数据,获得见解。
利用 Amazon QuickSight Q,客户可以快速、轻松地获得答案,所有用户无需培训即可访问 BI。
● 基于数据进行业务创新。帮助数据进行创新的内核是“从客户角度出发”,企业植根于自身业务的创新诉求是创新的原动力,而人工智能等技术为创新提供了手段与方法。
本次re:Invent,亚马逊云科技业界闻名的机器学习平台Amazon SageMaker又添六项新功能。
亚马逊云科技新推出的Amazon SageMaker Ground Truth Plus,让用户无需编写任何代码即可快速交付高质量的训练数据集。数据是机器学习的燃料。不过,准备数据的过程令人沮丧甚至令人愤怒。有了这项新功能,极大地解决了数据科学家准备数据的痛点问题。
在模型构建与算法编写环节,新推出的Amazon SageMaker Studio Notebook 允许用户访问广泛的数据源,在一个记事本中执行数据工程、分析和机器学习工作流。
新推出的Training Compiler 模型训练编译器,让机器学习模型培训速度提高50%。Inference Recommender 模型推理推荐程序,可将部署时间从数周减少到数小时。Serverless Inference 无服务器推理,通过按使用付费的定价降低拥有成本。
【2021 re:Invent观察之四】千方百计降低门槛,让更多人用云计算进行业务创新
为了帮助客户最大限度实现数据价值,亚马逊云科技千方百计降低数据使用的门槛。无论是开发人员、运维人员、数据科学家、行业用户,还是即将进入云计算行业的初学者,亚马逊云科技都在不断推出新的服务和功能,降低他们的使用门槛。
本次re:Invent上推出的很多新服务和新功能都具有这样的意图。前面介绍的QuickSight Q是一个例子。新推出的Amazon SageMaker Canvas又是另一个例子。它让业务分析师能够使用点击式界面生成更准确的机器学习预测,从而扩展了对机器学习的访问,无需编码。
新发布的Amazon SageMaker Studio Lab 是一项免费、无需配置的服务,开发者、学者和数据科学家,只要有创新的想法,立即就可以动手实践机器学习。它也让客户将能够专注于实践机器学习与数据科学,无需设置或配置任何环境与机器。
为了将机器学习能力交到更多的人手中,亚马逊云科技还将通过DeepRacer冠军杯赛、培训与认证、机器学习大学、机器学习纳米学位等项目,计划到 2025 年全球培训 2900 万人。
亚马逊云科技也宣布了1000万美元亚马逊云科技人工智能和机器学习奖学金(Amazon AI & ML Scholarship),用于奖励全球范围内弱势群体和服务设施欠缺地区的学生,帮助他们做好准备,在未来从事机器学习相关工作。
【2021 re:Invent观察之五】低碳环保提上云开发者的议事日程
在re:Invent上,亚马逊CTO Werner Vogels发布了亚马逊云科技架构完善(Well Architecture) 的第六个支柱:可持续发展,倡导用环保的最佳实践来学习、测量、改进云端计算工作负载。
亚马逊云科技架构完善是一个设计和评估云上架构的参考设计,旨在帮助云架构师为应用程序和工作负载构建安全、高性能、高效的弹性基础设施。AWS 架构完善的框架最初只是一个白皮书,现在已经发展成为一整套方法体系,包括特定于域的详解、动手实验和 AWS 架构完善工具。
亚马逊云科技架构完善的框架为客户和合作伙伴提供了一致性的方法,供他们评估架构,实施能够在使用中扩展的设计。
此前,亚马逊云科技架构完善有卓越运营、安全性、可靠性、性能效率、成本优化五个支柱。现在增加了可持续发展作为第六个支柱。
在亚马逊云科技的倡导下,越来越多的构建者在构建云上应用时,将把低碳环保作为衡量因素,不是一味追求最高性能、最低延时、最高画质等等,而是在低碳环保跟性能、延时、画质等因素做一个最佳的平衡。
亚马逊云科技还提出了可持续发展的责任共担模式:亚马逊云科技负责云本身的可持续性,客户要承担在云上应用的可持续性。
亚马逊云科技义不容辞地为地球的可持续发展承担责任。
科学家指出,全世界需要在 2050 年前将全球变暖限制在 1.5 摄氏度以内,时间非常紧迫,必须取得前所未有的进展。为了推动集体的跨部门行动,应对气候危机,由亚马逊和Global Optimism共同发起了《气候宣言》,呼吁签约各机构采取紧急行动,在 2040 年前实现净零碳排放,提前十年达成《巴黎协定》目标。亚马逊以身作则,承诺到 2030 年100% 使用可再生能源为公司运营提供动力。现在,亚马逊将计划再次提速,希望到 2025 年实现这一目标。
全球权威调研机构——451 Research 的研究结果,亚马逊云科技运营的基础设施能源效率,是受调查的美国企业数据中心中位数的 36 倍。进一步调查来自法国、德国、爱尔兰、西班牙和瑞典各行各业的 300 多家公司。研究发现,亚马逊云科技的数据中心能源效率比普通欧盟公司高出 5 倍。在亚马逊云科技运行商业应用的公司,可以减少近80%的能源消耗。如果将 1 兆瓦的典型工作负载转移到 亚马逊云科技,每年可以减少1000多公吨的碳排放。
现在,亚马逊云科技希望利用自身在云计算领域的优势,倡导云上应用的可持续发展,为应对全球气候变暖做出贡献。
对于可持续发展,亚马逊云科技效用计算和应用程序高级副总裁Peter DeSantis说过,“最绿色的能源就是你没有使用的资源。通往绿色云的道路就在面前,我们得一起朝着这个目标努力。”
亚马逊云科技还将推出一个碳足迹工具,帮助客户在云端追踪应用的碳排放足迹,让云上的低碳环保变得可衡量,以便更多的开发者和企业加入到低碳环保的行列中来。