莉莉丝游戏与火山引擎ByteHouse达成合作,为实时数仓建设提速

近日,中国头部游戏公司莉莉丝游戏(Lilith Games)和火山引擎ByteHouse达成合作,双方将共同致力于实时数仓建设,为莉莉丝游戏的DAP提效提供全面支持和帮助。

莉莉丝游戏是中国中生代游戏公司代表,在中国游戏市场保持领先地位。为了支持其日益增长的业务需求,莉莉丝游戏在国内广泛使用ClickHouse进行广告投放和运营分析业务,并在海外业务中搭建了开源ClickHouse集群来支持广告运营分析。然而,这些使用过程中遇到了一些挑战,包括跨月跨季查询超时、OOM、不支持大表关联以及从MySQL数据实时同步稳定性差等问题。因此,莉莉丝游戏希望通过调研ByteHouse的产品功能和性能,探索合作机会以解决这些痛点。

ByteHouse作为火山引擎的核心云数仓产品,具备多项强大功能,为莉莉丝游戏的实时数仓建设提供了全面的支持。首先,ByteHouse的MaterializedMySQL功能可以实时将莉莉丝游戏的MySQL或PolarDB MySQL中的业务数据整库实时同步到ByteHouse平台。该功能提供了可视化的管理工具,并增加了便捷的异常运维处理功能,实现了一键同步和稳定运行的目标。这大大降低了数据同步成本和运维工作量,为莉莉丝游戏提供了高效的数据同步链路。特别是ByteHouse特有的HaUniqueMergeTree表引擎支持实时的表级/分区级唯一键更新、部分列更新、实时删除等功能,让应用能简单地解决实时数据去重和更新问题。

其次,ByteHouse自研的查询优化器解决了开源ClickHouse不支持复杂查询能力的问题。该优化器支持RBO、CBO、分布式计划优化,并实现了诸如Dynamic Filter pushdown、物化视图改写和基于代价的CTE等高阶优化能力。通过这些能力优化,ByteHouse能够成功运行TPC-DS测试集的全部99个SQL用例,并在性能上大幅提升。在实际环境中,ByteHouse 帮助莉莉丝游戏广告业务复杂查询分析场景中性能提升3倍以上,支持查询时间跨度从1个月提升至1年以上,帮助其覆盖更多分析业务场景,加快决策和优化业务运营。

此外,ByteHouse还提供了可视化运维功能,针对ClickHouse运维复杂度高的问题,提供了集群管理、监控告警、健康度评估、权限管理、参数配置、数据管理、界面化扩容等一系列可视化功能。这大大降低了运维成本,为莉莉丝游戏提供了更便捷和高效的运维体验。

通过与ByteHouse的合作,莉莉丝游戏将基于该平台构建广告运营分析平台核心OLAP引擎。这将使莉莉丝游戏能够实时处理海量投放数据和日志数据,并进行高性能计算。通过实时统计和归因分析广告投放全链路数据,莉莉丝游戏能够实时调整广告投放策略,提升买量效果。同时,通过细粒度的成本和效果分析,莉莉丝游戏能够支持研发、运营、发行等团队进行精细化经营和管理,更好地了解市场需求,加强协作效率和透明度。此外,莉莉丝游戏还使用了ByteHouse来支持人群包的功能,在海量数据场景下能快速筛选出符合特定条件的用户,实现广告精准定向投放。

据了解,本次合作将为莉莉丝游戏提供强大的数据能力支持,助力其在游戏行业中保持竞争优势。双方将共同努力,推动实时数仓建设的发展,为广告运营分析等业务领域带来更高效和创新的解决方案。