12月20日,数据库国际顶会VLDB2024公布新一批论文,阿里云新技术PilotScope成功入围,该平台技术可实现AI算法在数据库的“一键部署”,极大降低数据库中AI算法的应用门槛,为数据库智能化开辟了全新空间。同日阿里云宣布将PilotScope全部技术免费开源。
数据库是事关国计民生的基础软件技术,数据库技术的更新影响着数字时代的千行百业,其中一个前沿领域即是数据库智能化(AI4DB,AI for Database)。现在的数据库系统非常复杂,对稳定性要求极高,即便将单一AI算法与单一数据库作匹配调试,也需要双方工程师紧密配合数周甚至数月,效率低、效果差,导致业界迟迟无法将日新月异的AI算法应用到数据库中。
针对这一难题,阿里云提出了新解法:通过在数据库和AI系统级抽象和通用化模块及接口定义,研发出一个全新的中间件系统平台PilotScope,让AI算法在数小时乃至数分钟内在数据库内实现“一键部署”。VLDB评议认为,PilotScope基于应用场景开创性的系统设计,将开启数据库智能化的全新方向。
据了解,PilotScope针对参数调优、索引推荐、基数估计、查询优化等数据库主流任务,预置了10多种AI算法,并完成PostgreSQL和Spark等两大主流开源数据库的适配打样。实验数据显示,使用PilotScope将AI算法嵌入数据库,较传统“硬植入”方法,查询优化等任务提速1到2倍不等,且PilotScope本身对部署产生的额外代价基本可忽略,表现突出。
“PilotScope就像个数据库AI‘超级管理员’,通过这一平台,AI工程师只需专注于设计通用算法,可实现对不同数据库的部署和应用;而数据库使用者可像调用API那样,方便又高效地用上AI。”该项目负责人朱鎔介绍说,PilotScope对数据库“零侵入”,并设计了智能检测、回退、隔离等机制,降低AI幻觉风险,在确保数据库稳定性的前提下实现智能化提升。
目前,PilotScope已在阿里云内部展开试点应用,相关技术也通过GitHub及Modelscope魔搭社区对外免费开源。
据了解,VLDB是数据库三大国际顶级会议之一,每年仅收录在学术界和产业实践中产生重要影响的新成果,是权威的数据库技术风向标。第50届VLDB大会预计于2024年8月在中国广州举办。
——————
附开源地址:
https://github.com/alibaba/pilotscope