Amazon SageMaker Unified Studio如何加速从数据到AI的创新?

在生成式AI技术快速发展的时代,企业如何有效利用自身的私有数据,迅速进行业务创新,已成为提高企业竞争力的关键。但在工具日益复杂、数据分散的环境下,创新节奏被拖慢。因此,企业亟需一种更加统一高效的解决方案。

2024年re:Invent期间,亚马逊云科技发布Amazon SageMaker Unified Studio,它可以解决工具复杂、数据分散等共性问题,帮助企业用户快速整合数据与AI,加快业务创新的步伐。最近,这项服务已经正式可用。

Amazon SageMaker Unified Studio:打破工具与角色壁垒

Amazon SageMaker Unified Studio(以下简称Unified Studio)是一个统一了数据和AI的开发平台,用户能在这里找到所需的数据、分析工具以及构建机器学习模型与应用的一切资源。

它有效解决了过去企业内部不同角色使用不同工具所带来的麻烦与混乱,将数据处理(如EMR、Glue、Athena)、SQL分析(Redshift)、模型开发训练(SageMaker AI)、生成式AI构建(Amazon Bedrock)以及BI和搜索分析等功能统一在一个环境中。

其中,模型开发部分其实就是原来的Amazon SageMaker,现在改名叫Amazon Sagemaker AI。而生成式AI应用构建部分,则是集成的Amazon Bedrock。而刚才提到的数据处理、数据分析部分也都是把原有的工具集成到了这里。

虽然Unified Studio集成的工具服务大多是已有的,但真正的改变在于统一的环境。过去开发者需频繁在多个服务间切换,项目协作困难,而现在通过代码、数据和权限的集中管理,让数据科学家、数据工程师与业务专家能在同一工作台高效协作,显著提升了团队的效率与一致性。

为了提高易用性,亚马逊云科技还将智能助手Amazon Q与Unified Studio集成,让用户用自然语言完成数据查询和代码编写。这种集成不仅提升了用户体验,也进一步降低了企业数据使用门槛。

集合多种数据治理工具,为AI创新准备好数据

非常值得注意的是,Unified Studio只是新一代Amazon SageMaker的一部分。除此之外,它还有负责数据和AI治理的Amazon SageMaker Catalog,以及“湖仓一体”数据平台Amazon SageMaker Lakehouse。

Unified Studio主要聚焦开发环境的整合,而Amazon SageMaker Catalog则强调统一的数据资产治理。Catalog基于Amazon DataZone,为企业提供统一的数据目录平台,实现数据资产集中发布、权限管理、血缘追踪及数据质量监控,有效避免了过去人工管理权限的低效与疏漏。实践中,企业通常将Unified Studio与Catalog结合使用,实现工具和数据的双重统一协作。

与Amazon SageMaker Catalog紧密配合的还有Amazon SageMaker Lakehouse平台,它采用Apache Iceberg标准融合了数据湖与数据仓库的优势,同时借助Zero-ETL技术,直接将多个数据源的数据用于分析,免去了迁移和重复加工的步骤。

为了进一步打破数据孤岛,亚马逊云科技还提供了Amazon Glue Connector,它内置了超过100种数据源连接器,结合联邦查询功能,用户只需发起一个查询请求,就可以同时访问在多个数据源中的数据。

总之,负责数据和AI治理的Amazon SageMaker Catalog,还有“湖仓一体”数据平台Amazon SageMaker Lakehouse为下一代Amazon SageMaker解决了数据问题,让Unified Studio有数据可用。

Amazon SageMaker Unified Studio:帮助丰田汽车加快创新节奏

与很多亚马逊云科技的服务一样,Unified Studio本身的易用性较高。亚马逊云科技大中华区数据分析与生成式AI产品总监崔玮用一个Demo展示了它的用法,它不仅能完成从数据准备、共享、订阅,到数据治理、AI 开发的全过程,而且每一步都力求降低技术门槛,提升协作效率。

崔玮提到,虽然目前没有一个具体的量化指标可以衡量Unified Studio将效率提升了多少倍,但多个客户已经反馈出非常明显的收益,尤其是在多角色协作、权限管理和数据使用效率方面。

Unified Studio不仅将数据发布、权限申请和订阅等流程的完成时间从过去的几天甚至一周缩短到小时乃至分钟级,也极大简化了权限管理工作。过去权限维护复杂且易出错,而现在通过内置的统一权限管理机制,企业能实现针对不同用户和角色的统一策略管理,显著降低了运维成本和出错风险。

丰田汽车引入Unified Studio后有效解决了内部多个团队间数据共享、管理与搜索的问题。例如在质量管理方面,丰田利用Unified Studio提前发现潜在问题并快速响应,极大提升了生产安全性和效率,也为团队提供了灵活的试错空间,加速了产品创新节奏。

崔玮表示,Unified Studio能更好地适配企业复杂的组织结构和跨部门协作需求。对于像丰田这样的制造型企业,其内部往往包含多个业务板块,工作流高度复杂,在这种环境下,Unified Studio就显得尤为重要。