这是一款革命性的向量数据库系统，它在业界首次采用了英伟达GPU的高效并行处理能力和RAPIDScuVS库中新推出的CAGRA（CUDA-AcceleratedGraphIndexforVectorRetrieval）技术，提供基于GPU的向量索引和搜索加速能力。
Milvus2.4的GPU加速性能提升效果令人惊叹。
基准测试显示，与目前市面上最先进的基于CPU处理器的索引技术相比，新版GPU加速Milvus能提供高达50倍的向量搜索性能提升。
目前，Milvus2.4的开源版本已经对外发布。
对于希望使用全托管云数据库服务的企业用户来说，还有一个好消息，那就是Zilliz提供的Milvus商业版全托管云服务ZillizCloud计划将在今年晚些时候升级推出GPU加速功能。
截至当前，Zilliz已成为全球首家提供海内外多云服务的向量数据库企业。
ZillizCloud已经实现包括阿里云、腾讯云、AWS、谷歌云和微软云在内的全球5大云13个节点的全覆盖，除了分布在杭州、北京、深圳的5个国内服务区，其他8个节点分布在海外，包括美国的弗吉尼亚州、俄勒冈州、德国的法兰克福、新加坡等城市和地区。
Milvus是什么？
Milvus是一款为大规模向量相似度搜索和AI应用开发设计的开源向量数据库系统。它最初由Zilliz公司发起开发，并在2019年开源。2020年，该项目加入Linux基金会并成功毕业。
自推出以来，Milvus在AI开发者社区中大受欢迎并被广泛采用。
在GitHub上，Milvus拥有超过26,000个星标和260多位贡献者，全球下载和安装量超过2000万次，已经成为全球使用最广泛的向量数据库之一。
目前，Milvus已经被5,000多家企业所采用，服务于AIGC、电子商务、媒体、金融、电信和医疗等多个行业。
为什么需要GPU加速？
在数据驱动的时代背景下，快速准确地检索大量非结构化数据对于支持前沿AI应用至关重要。无论是生成式AI、相似性搜索，还是推荐引擎、虚拟药物发现，向量数据库都已成为这些高级应用的核心技术。
然而，对于实时索引和高吞吐量的需求不断挑战着基于CPU的传统解决方案。
实时索引
向量数据库通常需要持续且高速地摄取和索引新的向量数据。实时索引的能力对于保持数据库与最新数据的同步至关重要，避免产生瓶颈或积压。
高吞吐量
许多使用向量数据库的应用程序，例如推荐系统、语义搜索引擎和异常检测等，都需要实时或近实时的查询处理。高吞吐量确保向量数据库能够同时处理大量涌入的查询，为最终用户提供高性能的服务。
向量数据库的核心运算包括相似度计算和矩阵运算，这些运算具有并行性高和计算密集等特点。GPU凭借其成千上万的运算核心和强大的并行处理能力，成为了加速这些运算的理想选择。
技术架构
为了应对这些挑战，英伟达开发了CAGRA。这是一个利用GPU的高性能能力为向量数据库工作负载提供高吞吐量的GPU加速框架。
接下来，我们来看看CAGRA是如何与Milvus系统整合的。
Milvus专为云原生环境设计，采用模块化设计理念，将系统分为多个组件，分别处理客户端请求、数据处理以及向量数据的存储和检索。
得益于这种模块化设计，Milvus可以轻松地更新或升级特定模块，而无需改变模块间的接口，使得在Milvus中集成GPU加速变得简单可行。
Milvus2.4架构图
Milvus2.4的架构包括协调器、访问层、消息队列、工作节点和存储层等组件。工作节点进一步细分为数据节点、查询节点和索引节点。其中，索引节点负责构建索引，查询节点负责执行查询。
为了充分利用GPU的加速能力，CAGRA被集成到了Milvus的索引节点和查询节点中。这种集成使得计算密集型任务，如索引构建和查询处理，能够被转移到GPU上执行，从而利用其并行处理能力。
性能评测
在性能评估过程中，我们使用了AWS上的三种公开实例类型：
我们通过这些不同的实例类型来评估Milvus2.4在不同硬件配置下的性能和效率，其中m6id.2xlarge作为基于CPU处理器的性能基准，而g4dn.2xlarge和g5.2xlarge则用来评估GPU加速的优势。
基于AWS的评测环境
在评测中，我们选用了VectorDBBench的两个公开向量数据集，评估Milvus在不同数据量和向量维度下的性能和可扩展性：
这些结果清楚地表明，GPU加速框架CAGRA在索引构建方面明显优于基于CPU的HNSW，其中A10GGPU在两个数据集上都是最快的。
吞吐量
在吞吐量方面，我们比较了集成CAGRAGPU加速的Milvus与使用CPU上HNSW索引的标准Milvus实现。评估指标是每秒查询数（QPS），用于衡量查询执行的吞吐量。
在向量数据库的不同应用场景中，查询的批量大小（单条查询处理的查询数量）往往不同。在测试过程中，我们采用了1、10和100这三种不同的批量大小，获取真实而全面的评测结果数据。
评测吞吐量
从评估结果来看，对于批量大小为1的情况，T4GPU比CPU快6.4到6.7倍，A10GGPU则快8.3到9倍。
当批量大小增加到10时，性能提升更加显著：T4GPU快16.8到18.7倍，A10GGPU快25.8到29.9倍。
当批量大小为100时，性能提升持续增长：T4GPU快21.9到23.3倍，A10GGPU快48.9到49.2倍。
这些结果表明，利用GPU加速向量数据库查询可以获得巨大的性能提升，尤其是对于更大的批量大小和更高维度的数据。
集成CAGRA的Milvus释放了GPU的并行处理能力，实现了显著的吞吐量改进，非常适合要求极致性能的关键场景下的向量数据库工作负载。
开启新纪元
将英伟达CAGRAGPU加速框架集成到Milvus2.4中，标志着向量数据库领域的一项重大突破。
通过利用GPU的大规模并行计算能力，Milvus在向量索引和搜索操作方面实现了前所未有的性能水平，开启了实时、高吞吐量向量数据处理的新时代。
5年前，Zilliz的工程师们在上海漕河泾的厂房里敲下了向量数据库历史上的全球第一行代码，开启了研发面向非结构化数据管理的新一代数据库的探险。
今天，Zilliz和英伟达合作推出Milvus2.4，展现了开放创新和社区驱动发展的力量，为向量数据库带来了GPU加速的新纪元。
这一里程碑事件预示着又一个技术变革的来临，向量数据库有望经历类似于英伟达在过去8年中将GPU算力提高1000倍的指数级性能飞跃。
在未来十年，我们将见证向量数据库性能的1000倍飞跃。这将引发一场数据处理方式的范式转变，重新定义我们处理和利用非结构化数据的能力。