在迈向生成式AI的道路上
云厂商的行业声音越来越大
2023年全球科技行业最火的莫过于生成式AI,即Artificial Intelligence Generated Content。在迈向生成式AI的道路上,虽然说不上千军万马,但是国内外大部分科技巨头都积极入了场,各自表演,精彩纷呈,其中来自云厂商的行业声音越来越大。
12月12日,是一个好日子。2023 re:Invent中国行城市巡展活动在北京开启,在活动现场,最吸引我的还是亚马逊云科技聚焦生成式AI给业界带来了全新视野,可谓战略升级,火力全开了。
01 「锻造生成式AI基石」 多措并举强化AI芯片能力
众所周知,任何一个科技巨头想要玩转生成式AI,都离不开基础设施给予强大的支撑。在算力、存力与运力上有着天然优势的云厂商也不例外,却更善于借力使力,持续锻造生成式AI的基石。
首先,强大算力是刚需,亚马逊云科技很早就开启了AI定制芯片的技术研发,从芯片底层出发为AI算力提供澎湃的力量,同时也是面向GPU缺芯潮做出的积极应对。
然而,能在AI芯片上拥有完善的自研能力,全球的云厂商也是屈指可数。亚马逊云科技就是其中的代表之一,并且自研AI芯片不仅认真专业,而且具有长期性与持续性的特点。
不过,大家可能知道更早在2013年,亚马逊云科技就推出了第一款自研芯片产品Amazon Nitro,从那以后开启了自研创“芯”的新节奏。并且也打造了业界领先的硬件虚拟化引擎,支持云上安全、性能和创新。目前已经到了第五代Amazon Nitro,只是Amazon Nitro定位在虚拟化芯片方面。
此外,在自研ARM架构服务器CPU芯片起步也很早,在很多年前,亚马逊云科技就开始云原生处理器芯片Amazon Graviton的产品推广,这次2023 re:Invent中国行城市巡展北京首站也专门介绍了最新的Amazon Graviton 4。
简单回顾一下Amazon Graviton的发展历程,2018 re:Invent推出Amazon Graviton第一个版本,2019年12月推出Amazon Graviton 2。2021年推出性能较Graviton2提升25%、能耗降低60%的Graviton 3。2022 re:lnvent推出了Amazon Graviton3E芯片。2023re:lnvent再次升级推出了Amazon Graviton 4,性能更高更强,与Graviton 3相比Graviton 4的内核增加50%,处理速度提高30%,内存带宽增加75%,数据库应用提速40%,处理大型Java应用的速度提升45%。
▪ Amazon Graviton已获得了用户应用的强劲势头
可见,持续技术创新与迭代,造就了Amazon Graviton处理器,并成功为Amazon EC2中运行的云工作负载提供更好的性价比,更低的能耗。与基于x86的亚马逊云科技同类实例相比,使用Amazon Graviton芯片的Amazon EC2实例最多可以降低20%成本,与同类Amazon EC2实例相比,在实现相同性能的情况下最多可节省60%的能源。目前,已有150个亚马逊云科技计算实例采用了Amazon Graviton处理器,超过5家用户其中包含Top100企业都正在使用这些实例。
在虚拟化芯片、CPU芯片领域亚马逊云科技不仅如此契而不舍地追求卓越,而且在GPU领域也毅然奋发图强。面向生成式AI和机器学习训练的发展,亚马逊云科技在2020年正式推出云端AI芯片Amazon Trainium。而当前最新亮相的Amazon Trainium2,将云端AI芯片的能力再次提升一个新档次。
Amazon Trainium2的性能是第一代Amazon Trainium的四倍,能源效率是其前身的两倍。相当于每个芯片可提供650 teraflops(每秒执行一万亿次浮点运算)的计算能力。由10万个Amazon Trainium芯片组成的集群可以在数周内训练出3000亿参数的大语言模型。在此之前,重塑AI芯片的价值实在太难了。但是自从有了Amazon Trainium之后,让更多面向大模型应用创新的企业看到了新的发展路径。
可能某些不太熟悉公有云行业的朋友会有疑问,服务器CPU、GPU芯片不是有现成的英特尔、AMD、英伟达等商用产品,为什么亚马逊云科技还要自己去研发、打磨?对于这个问题,亚马逊云科技计算与存储产品总监张洋在演讲中提及,创“芯”云底座,才能重塑生成式AI基础。毕竟生成式AI工作负载需要极高计算密度,要实现更好的算力性价比,云厂商就得从底座出发亲力亲为,深谙公有云发展之道的亚马逊云科技更不例外。
为此,重塑计算底座也成为亚马逊云科技锻造生成式AI基石的重要举措之一,并且持之以恒,长期引领。
在北京站大会上,也宣布了亚马逊云科技与英伟达的合作渐入佳境,双方联合推出先进的基础设施、软件及服务,推动生成式AI的持续创新。亚马逊云科技将成为第一家在云端配备英伟达最新GPU芯片GH200 Grace Hopper的云厂商,并同时推出英伟达DGX Cloud NVIDIA AI“训练即服务”。基于Project Ceiba的进一步合作,双方携手构建全球最快的AI超级计算机,以及更多基于英伟达GPU芯片的云实例。
为此,通过AI芯片的定制,云厂商可以通过持续技术优化,很好支持生成式AI工作负载越来越高的计算量,但是对于不断激增的数据量怎么办?
这里不得不专门提到Amazon S3,自17年前正式推出Amazon Simple Storage Service以来,已成为最受欢迎的云存储服务之一,在全球拥有数百万各行各业的客户,Amazon S3也成为了全球云存储的重要标准之一。
当前,Amazon S3 Express One Zone正式可用,与Amazon S3 Standard相比,数据访问速度提高至多10倍,数据请求成本降低50%,可以满足机器学习训练和推理、交互式分析以及媒体内容创建等请求密集型工作负载所需要的高性能存储,从而进一步彰显了亚马逊云科技锻造生成式AI基石上的综合实力。
当然,锻造生成式AI基石,离不开亚马逊云科技提供的高度安全可靠的云基础架构。如今,已经实现全球31个区域的99个可用区,可以覆盖245个国家和地区,亚马逊云科技无处不在的云服务网络将其持续创新的AI芯片能力快速抵达每一个角落。
02 「开放工具平台」 做大做强大模型生态
生成式AI基石的强健,自然对大模型的发展带来很大的帮助。然而,不仅如此,亚马逊云科技推出的一个可对托管基础模型进行访问的工具平台Amazon Bedrock,对所有大模型厂商开放,同时也可以根据具体应用需求实现定制化开发,利于做大做强大模型生态。
不仅在战略上的重视,而且在具体战术落地上依然重视,这是业内人士对亚马逊云科技一贯打法的中肯评价。Amazon Bedrock再次印证了这一点。
在此之前,我记得业内盛传一句行话:没有一个厂商满足用户数字化进程中的所有需求。如今,这句话也适用于大模型行业化的发展进程。千行百业都想方设法将生成式AI积极融入到各自业务,可是在大模型行业化实际落地过程中,没有一个大模型能够适合所有的应用场景。怎么办?
这便是Amazon Bedrock诞生的意义所在,有了这样可对托管基础大模型进行访问的工具平台,千行百业的用户可以选择任何合适的大模型,比如电商企业可以借助产品文档进行自己的模型训练,进一步也让大模型训练能力得以提升,来对自己业务应用进行实践创新。令人惊讶的是,目前Amazon Bedrock已服务了上万全球用户,比如大家熟知的Salesforce、MongoDB等知名企业已经率先采用Amazon Bedrock平台来推进生成式AI的应用。
借助Amazon Bedrock的fine-tuning微调与continued pretraining持续预训练的两项最新功能,允许用户针对特定任务对Amazon Bedrock中的大模型进行定制。不仅允许用户在标记数据集上训练大模型,而且允许用户在规模极大的数据集上对大模型进行定制,比如涉及数十亿token代码库的情况。同时还可以在未经标注的数据集上进行持续预训练,无需创建输出示例,能够大大减少创建训练数据集的工作量,降低AI定制成本。
Amazon Bedrock的全面更新带来了便捷性、体验性与安全性的三大优势。
一是,更好的便捷性。任何开发者可以基于Amazon Bedrock平台采用最新推出的Agents功能,无需复杂的设计提示、管理上下文会话或手动编排系统,就可以通过自然语言指令即可轻松便捷地实现生成式AI的应用,比如跨公司系统和数据源执行类似处理销售订单等多步骤任务。
二是,更强的体验性。全面开放的大模型开发平台,既支持用户调用Amazon Titan,也支持调用AI21 Labs、Anthropic、Stability AI等第三方多样化模型,并可以定制化开发。
三是,更高的安全性。强化云服务的安全性也是亚马逊云科技自成立以来的一贯原则,为了保障用户更安全地使用生成式AI技术,开发者借助最新推出的Guardrails功能,为所有应用程序提供跨大模型的AI安全一致性,实现跨大模型的新保护措施。此外,Amazon Bedrock从设计之初就重视用户数据安全,在传输中和静态时都经过加密,从而保障所有用户数据安全,进一步强化隐私保护,不会被他人使用。
值得一提的是借助Amazon Bedrock,也让ISV获得在生成式AI时代下新一轮的能力飞升。作为全球公有云领域公认的领导者,亚马逊云科技坚持生态制胜策略,开展了十多年的全球合作伙伴计划,已经构建了广布全球的亚马逊云科技合作伙伴网络(APN),目前在全球已经拥有超过12万家合作伙伴,覆盖150多个国家,在中国的合作伙伴数量总数也已超过6000家。
最新发布的亚马逊云科技生成式AI卓越中心面向所有合作伙伴网络(APN)成员开放,为大家提供生成式AI相关的教育和培训资源。同时也欢迎生成式AI解决方案提供商和业界领导者参与经验分享,Anthropic、波士顿咨询、凯捷、Cohere、IBM、麦肯锡、英伟达和Pinecone等合作伙伴相关内容已经在生成式AI卓越中心呈现。生成式AI卓越中心为大家在生成式AI领域构建学习专业知识的途径,以及借鉴成功解决方案的通道,从而推动ISV迎来生成式AI的时代转型,获得更多的发展机会。
可见,Amazon Bedrock+APN+生成式AI卓越中心,必然可以让亚马逊云科技进一步做大做强大模型生态,继续将“生态制胜”的价值发挥到极致。
03 「面向企业级生成式AI」 一切才刚刚开始……
锻造AI基石容易被理解,毕竟亚马逊云科技自身是公有云厂商,云已经成为全球企业的基础设施,自然也是AI的重要基础设施。构建Amazon Bedrock这样开放工具平台,也不难理解,作为公有云领导者强调生成式AI的平台化发展也是理所当然。
然而,最新推出的企业应用助手Amazon Q,却真的让业界刮目相看。全球云观察分析指出,Amazon Q诞生之后,对企业级行业的AI进化,生成式AI落地行业领域带来了开创性影响,对加速全球云计算行业迈向智能时代发展也带来深远意义。
也有业内人士评论指出,Amazon Q改变了开发者和IT人员在亚马逊云科技上构建、部署和运维应用程序和工作负载的方式。
用户可以使用Amazon Q轻松进行对话、内容生成并执行操作。亚马逊云科技CEO Adam Selipsky对Amazon Q的解说更为直接,“Amazon Q完全了解企业的业务、数据、客户、运营需求。”
需要指出的是,Amazon Q并非是面向个人消费者的通用聊天机器人,而是面向千行百业的企业级生成式AI的需求,被业内人士誉为企业级“ChatGPT”。用户可以通过亚马逊云科技管理控制台、文档页面、IDE、Slack或其他第三方对话应用程序的聊天界面进行访问Amazon Q,任何用户在亚马逊云科技上无论是进行构建、使用内部数据和系统,还是应用一系列数据和业务应用程序,Amazon Q现在都可以提供强大的生成式AI的支持,并且用户业务内容永远不会被使用来训练底层模型。
Amazon Q的灵活性表现突出,完全支持根据用户业务定制,帮助企业级开发者专注于开发本身。同时拥有惊人的代码转换能力,为每个应用程序升级带来前所未有的方便。在结合Amazon CodeCatalyst之后,在受支持的IDE当中实现用户代码生成测试,提升开发效率与代码质量。
Amazon Q可以为Amazon QuickSight、Amazon Connect和Amazon Supply Chain提供基于生成式AI的行业助理。目前,Amazon Q已向用户提供预览版,Amazon Connect中的Amazon Q已正式推出,Amazon Supply Chain中的Amazon Q即将推出。
在生成式AI的加速商业创新的过程中,Amazon Q的价值将得以凸显,并在行业应用中可以明显增强企业对外联络的能力。亚马逊云科技大中华区行业解决方案总监苏卓分析指出,Orbit公司在通过使用Amazon Q后,将每次联系所花费的时间节省10—15%,从而可以让更多的企业成为AI时代的“超级英雄”。
如果说生成式AI正在驱动企业创新,赋能业务变革,那么,Amazon Q就是一个标志性的诞生,标志着面向企业级领域的发展,一切才刚刚开始。
04 「小结:火力全开」 全速进军生成式AI
作为全球云计算的开创者和引领者,亚马逊云科技每年的re:Invent全球大会都成为了业界关心云创新的焦点,因此,2023 re:Invent中国行也备受瞩目。
当前来看,亚马逊云科技不仅在基础设施、计算、存储、数据等领域持续重塑云计算,而且在面向生成式AI的发展道路上,锻造AI基石,多措并举强化AI芯片能力,构建Amazon Bedrock开放工具平台,推出生成式AI卓越中心服务合作伙伴,甚至破天荒地面向千行百业发布企业应用助手Amazon Q。可谓,火力全开,志在必得。
不过,利用生成式AI全面重塑未来不仅是亚马逊云科技的倡议,而且也是诸多行业深切感受到了生成式AI带来的创新力,唯有求新求变,才能摆脱传统业务的束缚,迎来发展与突破。通过图像视频生成、人机对话等多个领域的创新实践,生成式AI的新时代序幕已经被徐徐拉开了。
聚焦生成式AI的发展,自12月12日亚马逊云科技2023 re:Invent中国行城市巡展活动胜利开启后,北京站现场获得了许多用户、合作伙伴以及产业界一致好评。
后续将推广到全国各地,覆盖北京、上海、广州、深圳、成都、青岛、南京、西安、杭州、长沙10座城市,将2023 re:Invent全球大会上的最新服务及技术、前沿趋势以及最佳实践带到区域市场,欢迎各地区域感兴趣的用户朋友关注参与。
