奇思妙想：多头RAGAI.xAIGC专属社区

MRAG背后的关键思想很简单，利用最后一个注意层为最后的Token生成的H个独立激活向量，而不是利用最后一个解码器的前馈层为最后的Token生成的单个激活向量。

对于输入的最后一个Token()，在还没有传送到前馈层前，利用多个注意力头的激活向量构造嵌入：S={ekk}，其中ek=headk()，S是输入的最后一个Token()上注意头的所有输出集合。

既然将文本的索引切分到多个子空间，而检索策略需要升级，进而在给定用户查询下从数据库中选择最接近的文本块。通常，MRAG检索策略包括三个步骤。第一，在数据准备期间，为所有h个嵌入空间分配重要性分数。直观地说，这些分数反映了不同空间可能与所用数据的重要性。

第二，在查询执行期间，MRAG对每个嵌入空间分别应用传统的RAG检索。这将返回每个嵌入空间的c个最接近的文本块列表（总共h*C块）。这里需要使用投票策略，使用预先计算的重要性分数从所有h*c个块中挑选出总体排名前k个。

本次的实验将MTEB排行榜上的两个嵌入模型视为候选模型。SFR-embedding-Model和e5-mistral-7b-instruct均基于Mistral7B架构，每个多头注意力有32个解码器块和32个注意力头。

上面是一个示例，最上面为查询的Prompt模板。第二行左一为知识库，左二和左三分别为传统的RAG和MRAG。针对两种算法，实验的结果标记在PROMPT中。

此外，MRAG的优势不仅限于检索精度。该方法经济高效且节能，不需要额外的LLM查询、多个模型实例、增加的存储或对嵌入模型进行多次推理传递。这种效率与增强的检索准确性相结合，使MRAG成为RAG系统领域的宝贵进步LLMs。MRAG可以与现有的RAG框架和基准测试工具无缝集成，为复杂的文档检索需求提供多功能且可扩展的解决方案。