随着生成式AI与智能体技术的快速发展,AI应用在各行各业落地。数据不再仅仅是训练模型的原料,而正逐渐成为AI系统中重要的决策依据。如何高效地管理、检索和使用这些海量数据,已成为产业界关注的核心问题之一。
当人们关注这一问题时,一个原本相对小众的技术领域就获得了更多关注,这就是向量数据库。
大语言模型技术让向量数据库火了
4月16日,在亚马逊云科技出海日活动上,DOIT传媒见到了全球最知名的向量数据库公司Zilliz,这是国内九成企业用户都在用的向量数据库,Zilliz合伙人与产品负责人郭人通带我们深入认识了向量数据库。
向量数据库这类技术,最早常用于模糊搜索和语义检索等场景,例如以图搜图、个性化商品推荐等功能。过去,这些技术大多由互联网公司在后台实现,普通用户即便在使用,也不会感知到有什么叫向量数据库的东西。
而现在,随着大语言模型技术对文本、图片和视频等非结构化数据的理解能力有了质的飞跃,越发需要向量数据库的支持了。如今,向量数据库已经不仅仅是一种搜索工具,而逐渐演变为支撑生成式AI与智能体系统的数据基础设施。
无论是构建企业知识库、问答系统,还是打造具备记忆能力的AI助手,向量数据库都扮演着关键角色。它能够存储、管理、计算、检索复杂的文本、图像、音频等非结构化数据转化的向量数据,使AI系统能够“理解”和“调用”这些信息,从而做出更加智能的判断与响应。

正因如此,向量数据库从幕后技术,走向了AI生态建设的前台。像Zilliz这样的公司,也在加快推进向量数据库在AI应用中的落地实践,特别是在支持RAG(检索增强生成)、AI Agent(智能体)等新一代AI架构中,发挥着越来越重要的作用。
Zilliz是向量数据库行业的“头号玩家”

郭人通回顾了Zilliz的发展历史。2017年,Zilliz就开始布局开源向量数据库系统。如今,Zilliz旗下的Milvus成了全球最受欢迎的开源向量数据库,在Github上斩获了3万4千多颗星,拥有数百位GitHub项目贡献者,还有一个全球最大的向量数据库的社区。

Milvus是一个高性能、可扩展的开源向量数据库,它有三种部署选项,包括可在本地笔记本电脑上部署的Milvus Lite版,可用于生产和测试的Milvus Standalone版,以及可处理数十亿个向量的企业级方案Milvus Distributed。
2023年下半年,Zilliz开始着手商业化。主要产品就是Zilliz Cloud,Zilliz Cloud分为两大类,第一类全托管的SaaS服务,底层是基于Serverless构建的,有很大的弹性扩展空间,无论是个人用户还是大型企业用户都可以选用这一方案。
作为托管服务,Zilliz Cloud SaaS所提供的高可扩展性和高稳定性能很好地满足企业可能面临的流量和数据激增的挑战,同时,还能让AI团队把更多资源集中在算法优化等核心创新上。
另外一个版本有点特殊,叫做Zilliz Cloud BYOC。与SaaS版把数据存储和所有管理控制都交给Zilliz不同,Zilliz Cloud BYOC支持用户将数据存储在用户自己的环境,适用于有特殊合规要求或者处于强监管环境的企业用户。

2024年,在Forrester Wave报告图中,Zilliz是唯二进入领导者象限的厂商之一,并且在向量数据库领导者象限中位于全球最领先位置。在中国市场上,有大约九成的用户都在用Zilliz的向量数据库。
郭人通表示,Zilliz的核心竞争力来自于快速迭代的能力。得益于Milvus构建强大的开源社区,Zilliz依靠开源获取全球用户的信任,能够获得不同行业、不同规模用户的反馈,这些反馈也在持续推动其在开源技术和商业化服务方面的发展。
Zilliz的商业化进程得益于亚马逊云科技
郭人通表示,Zilliz既提供Milvus的开源版本,也提供云上的商业版本,会像Databricks或者Snowflake的一样,更多围绕云基础设施去构建商业版服务。因此,Zilliz特别重视与亚马逊云科技这样的云厂商进行合作。
“在其他云上完成一个区域部署,所花时间是亚马逊云科技的四到六倍。” 郭人通表示,亚马逊云科技在全球范围内提供的产品服务更标准、更全面,大大降低了适配和运维复杂度,这为Zilliz的自动化部署和产品化打下了稳定基础。
事实上,Zilliz的商业化进程加速离不开亚马逊云科技的帮助。Zilliz依托亚马逊云科技在全球8个区域快速部署,业务覆盖北美、欧洲和亚洲地区,未来还将扩展到更多领域。其服务的客户涵盖欧美企业及国内的自动驾驶、手机、电商等行业。
Milvus向量数据库的技术生态与亚马逊云科技进行了很多集成,底层基于多种Amazon EC2实例(包括Amazon Graviton实例)为Milvus Cloud构建了性能型、容量型和存储扩展型等多种方案。同时,还利用Amazon EKS提供高度可扩展的能力。
中间层,Milvus支持各种常见的Embedding模型和大语言模型,这些Embedding模型和大语言模型可以来自Amazon SageMaker或者Amazon Bedrock。最上层,Milvus可以集成到LangChain等框架当中。
Milvus经历了两次架构迭代,Milvus 2.0引领了架构深度解耦的技术潮流,基于Amazon S3对象存储实现了计算与存储的分离和独立扩展。Zilliz早在2018至2019年就提出了这一架构思路,如今,越来越多的向量数据库也开始转向对象存储。
Zilliz在软件层面做了大量安全加固工作,同时,也依赖亚马逊云科技提供的多层次安全防护体系,包括集成了Amazon WAF、Amazon KMS等服务,亚马逊云科技帮助Zilliz每天自动拦截并识别数以千计的异常访问行为。
亚马逊云科技为Zilliz全球化进程提供了重要支持。通过亚马逊云科技,Zilliz接触并服务了大量全球头部企业客户,上架亚马逊云科技Marketplace帮助Zilliz提升销售转化,借助亚马逊云科技的合作伙伴体系,Zilliz扩大了在开发者和用户中的影响力。
Zilliz的两类典型应用场景
在商业化近两年后,Zilliz服务了很多出海企业,最有代表性的就是出海电商企业。郭人通介绍称,出海电商企业普遍关注如何实现跨区域合规、如何让基础设施跟上业务扩张的节奏,以及如何获得全天候运维支持。
Zilliz依靠与亚马逊云科技的合作来解决合规问题,依托亚马逊云科技的全球基础设施和Zilliz提供的可统一部署的数据基础设施,帮助企业实现快速建设和部署。在亚马逊云科技稳定基础设施的保障下,Zilliz可以提供7×24小时的支持。
在Zilliz的客户中,有一类非常典型的用户群体——为最终企业客户提供知识库或智能体能力的中间件服务商。这些服务商面对的客户需求明确,但资源有限,他们既想快速搭建企业内部的智能问答、知识检索系统,又不愿耗费大量成本去开发和运维底层系统。
Zilliz联合亚马逊云科技,为这些客户提供了一整套平台级的支持,涵盖数据检索、多租管理和知识库底层能力等。解决了他们非常最关心多租户隔离问题、冷热数据成本控制问题以及运维自动化与弹性扩容的问题。
目前,某家客户通过Zilliz Cloud成功支撑起数百家企业的AI系统运行。相比他们过去依赖自建或开源方案的方式,热数据查询性能提升3倍,冷数据服务成本降低至原来的50%以下,运维成本压力也基本被消除。
结束语
生成式AI技术让向量数据库得到了更多关注。Zilliz凭借Milvus和基于云的商业服务,并依托与亚马逊云科技等伙伴的紧密合作,正站在时代前沿,为全球企业构建高效、智能的数据处理能力,助力其在AI浪潮中把握先机。