启元世界选择亚马逊云科技“智能湖仓”进行云上创新,提升业务体验

2021年7月16日人工智能平台公司启元世界正在借助亚马逊云科技“智能湖仓”进行云上创新,实现数据的融合和统一治理,加快其全生命周期产品矩阵理念的落地和规模发展。同时,在流数据处理、批数据处理和即席查询等不同数据场景下,利用亚马逊云科技“智能湖仓”架构专门构建的理念,对流数据处理系统实现了分钟级部署,并能够轻松承载百万QPS(每秒查询率)流数据;还将批处理运行时间减少80%,运营总成本下降50%。

启元世界的目标是打造游戏全生命周期的产品矩阵,用领先的AI和数据分析能力,帮助游戏快速上线,改善游戏体验,提升客户留存,获得更大成功。作为服务全球客户的人工智能平台公司,启元世界的技术架构必须做到全球部署,并且需要有极高的可靠性和可扩展性。为了突出和强化在人工智能领域的优势,启元世界还希望把更多精力聚焦在算法迭代与产品打磨上,这就需要一个成熟、稳定、免运维的大数据托管服务。此外,服务上线后,伴随业务规模的快速增长,游戏运营过程中的波峰、波谷也会愈发明显,这就需要一个灵活敏捷且具有弹性伸缩能力的技术架构。

亚马逊云科技“智能湖仓”架构将亚马逊云科技全面而深入的数据服务无缝集成,打通了数据湖和数据仓库之间的数据移动和访问,并且进一步实现了数据在数据湖、数据仓库,以及在数据查询、数据分析、机器学习等各类专门构建的服务之间按需移动,从而形成统一且连续的整体,满足客户各种实际业务场景下的不同需求。

启元世界CTO龙海涛表示:“亚马逊云科技智能湖仓架构所提出的自由的数据移动,数据湖仓与AI/ML服务组件的深度融合能力,为我们全生命周期产品矩阵理念的快速落地和规模发展,提供了超强有力的支持。”

亚马逊云科技“智能湖仓”架构涵盖数据源、数据摄取层、存储层、目录层、数据处理层和消费层六层架构,可帮助客户轻松应对海量业务数据,充分挖掘数据价值。

在流处理方面,Amazon Kinesis云原生流数据全栈解决方案可以一站式解决游戏数据收集、分析、归档问题,从运维敏捷性和性能上都为启元世界提供了非常优秀的体验。Amazon Kinesis自身就具有面向公网收集流数据的能力,并且高可用,易于扩展,有完善的鉴权机制,也不需要管理底层硬件。另外,鉴权机制还可以一键把数据归档到Amazon Simple Storage Service (Amazon S3),或者使用Flink框架直接对流数据进行业务分析。使用Amazon Kinesis之后,启元世界流数据处理系统实现了分钟级部署,并能够轻松承载百万QPS(每秒查询率)流数据。

在批处理方面,原先启元世界习惯于使用Spark进行大数据分析,但管理Spark集群耗费团队太多精力,且每天等待数据处理时间过于漫长,导致无法高效地把主要精力投入到业务创新。得益于亚马逊云科技拥抱开源的产品理念,Amazon EMR能够在云上轻松部署弹性可扩展的Spark集群环境,进行SQL开发工作,完全不用担心集群维护和计算能力受限。此外,亚马逊云科技托管的 Apache Airflow,也能够帮助启元世界实现批处理过程的自动化。通过使用Amazon EMR 和亚马逊云科技托管的 Apache Airflow,批处理运行时间减少80%,在不改变采用开源组件开发体验的前提下,启元世界运营总成本下降50%,能够承载的查询数量与复杂度上升数倍。

在即席查询方面,启元世界业务的快速增长需要越来越多的报表,业务管理和决策也会频繁提出临时的查询需求,这些都给大数据团队带来挑战。因此公司需要真正的交互式大数据查询及报表分析功能,让业务人员和管理人员能够时刻受益于大数据的潜在价值。

通过采用Amazon Glue和Amazon Athena,启元世界可以在控制台上快速使用SQL查询数据;Amazon QuickSight可以帮助启元世界快速构建数据报表,或根据自己的需求完成数据查询。秒级响应各种数据查询及分析请求,数据报表生成加快一倍。

启元世界成立于2017年8月,是一家领先的人工智能平台公司,将先进的人工智能技术应用于智能决策和数字娱乐领域。公司拥有深度学习、强化学习、云计算等领域自主研发的核心技术、产品,积累了丰富的行业应用经验,为公共科技、数字娱乐、电力能源、交通物流等行业提供基于平台产品的人工智能解决方案。目前,启元世界已与数十家行业知名客户和机构建立合作关系。