GiteeAI+Dify双剑合璧，打造另类RAG知识库difygitee向量工作流知识库调用

从红薯喊我来折腾AI至今已经四个月了，很感激GiteeAI团队在这个过程中给与的支持与帮助，也是基于GiteeAI团队给我的强大信心，我们联合兄弟单位申报的国家卫健委《2024年医学工程科研项目》顺利通过审批，拿到了立项通知书。

我们的项目是一个围绕医疗设备和医用耗材开展AI使用探索的一个应用，涉及到AI方面的业务流程，主要就是需要利用RAG+LLM的功能，给临床提供指定型号的设备或耗材的精准指导。为此，我们选择了Dify做为我们的LLM应用开发平台。

Dify是一款开源的大语言模型（LLM）应用开发平台。它融合了后端即服务（BackendasService）和LLMOps的理念，使开发者可以快速搭建生产级的生成式AI应用。该平台提供了非常便捷和强大的流程编排能力，节省了我们很多工作研发开发工作。但当我们真正投入具体的业务研发中时，发现Dify的RAG体系，并不能满足实际需要，即便是它已经在最新版本中开放了API调用外部RAG的功能。

这就造成了两个很严重的后果，一是搜索A品牌的机器却召回了B品牌的说明；二是搜索同品牌下A型号的内容却召回了B型号的。如此张冠李戴，显然是不符合医疗工作在精准度方面的要求。因此，我们需要针对具体型号的产品做精准内容的召回。

业务功能实现Dify的外部RAG并非良配

从业务流程上看，我们只需要输入关键词，输出召回内容即可。但细细分析，其实是经过输入关键词→特征提取→向量召回→重排→LLM处理这样的一系列操作。这里必须要给Dify一个大点赞，内置的流程编排器真的是很方便，模型服务提供商也非常全面,但在RAG上能力还是会稍微弱了一些。外部知识库的API结构和流程，看起来很不错，真正用起来实为鸡肋。

通过Http节点，首先调用GiteeAI的特征抽取服务，获得的结果丢给Zilliz召回指定区块的内容。如此即可不做任何多余开发，就实现个性化的知识召回。

召回质量测试

显而易见，通过自定义编排的向量召回流程，我们可以通过极低的实施成本，就可以得到非常高精度的召回质量。

为什么是GiteeAI

不可否认，选择GiteeAI是多少掺杂了一些兄弟感情在里面的，但从长远来看，成本、服务、可靠性都是必须要考虑的因素，毕竟做的可都是单位的事儿。也试过了Dify提供的各类模型服务平台，但我认为最省心的还是GiteeAI。

可能有人会说GiteeAI的模型数量不多，但我想和各位基友说一句，服务稳定可靠比数量多更重要。GiteeAI没有莫名其妙的风控和莫名其妙的限流，这一点很给力。而且，你要的姿势这里都有（LLM、TEXTEMBEDDING、RERANK、SPEECH2TEXT、TTS）。

关于服务，还需要特别表扬一下GiteeAI团队的鼎力支持，当我将这一想法告知GiteeAI的开发人员后，我建议他们开发了一个Dify工具，可以方便我们用工具来调取GiteeAI的服务，经过几天的准备，这些哥弟真的做出来了。

而这个工具已经更新到了Dify最新版本中，欢迎各位看官使用体验。

结语

做为一个混迹于公立医院的非正式程序员，今年一直在探索把AI能力应用于日常工作中，我始终认为卷大模型那些事情，不适合大多数。而日常用AI的做个头像，写个段子，又显得略微业余。对于更多程序员来说，把AI的某一个特性功能应用到日常的工作中，解决某一个痛点这就是最好的创新，而GiteeAI给我们一个极低的实施成本，推荐大家使用。

GiteeAI现已上线「有奖投稿」活动，投稿有机会获得现金奖励&周边礼品