从0到1:哔哩哔哩智能客服系统的设计与实现
本期作者
1背景
1.1为什么要做新系统
B站过去的客服系统是通过外部采购获得的，已经使用了几年。然而，这个外购的系统存在一系列问题：
虽然曾考虑过采购新的客服系统，但也面临一些问题，如：
因此，B站决定开展新客服系统的自研工作。
1.2怎么做新系统
在面对如何打造一个全新的客服系统的挑战时，我们首先开始了调研、访谈和体验。
业内调研
我们访问了一些在客服系统领域表现优秀的知名公司，从业务和技术的角度进行了深入调研。总结下来，目前客服系统比较重视以下三个关键指标，我们分别来解读一下。
这些核心的指标为后续的研发指明了方向。
内部访谈和体验
我们对负责客服流程运营的团队以及各项功能团队（质检、舆情、机器人、工单、二线、数据等）和一线客服同学进行了访谈，同时也全面体验了现有的系统。特别是从各个团队的访谈中，我们获得了许多细节性的宝贵经验和一系列建议，这对我们如何具体做好产品和之后推动系统的落地起到了巨大的作用。这些经验和建议将在工作台一节中详细展示，在这里就不再展开。
1.3新系统落地效果如何
在核心指标上，新客服系统都取得了显著的提升：
(保密考虑，不暴露具体数字)
此外，新客服系统的落地还提高了客服工作效率，实现了与内部业务系统的无缝对接，优化了客服功能工具，验证了自主研发的能力。
接下来，我们将从技术角度，整体和分细节方面对新客服系统进行介绍。
2客服系统整体架构和核心业务流程
客服系统主要功能：
还有一些其他的功能如：质检系统，舆情系统，客服工时系统，监控系统等等。
2.1总体功能架构
在上述描述中，我们可以认识到客服系统具有一定的复杂性。为了帮助大家从宏观上理解客服系统，以下列出了整体功能的架构图。
2.2核心流程
同时，为了帮助大家进一步了解，这里列出了客服系统的核心流程。
3核心功能设计和实现
我们将按照用户一次完整的访问客服系统所需的先后次序，介绍各个核心功能的设计与实现。用户从用户入口进入，依次会经历智能问答、客服坐席调度以及与客服聊天（工作台）等核心功能。最后，我们将讲解整个系统的基础支撑——权限管理的设计与实现。
3.1用户入口
首先简单看一下哔哩哔哩客服的用户入口。
当用户进入聊天框，首先会进入智能问答环节，如果智能问答无法帮助用户解决问题，用户可以选择进一步联系人工客服来解决问题。
3.2智能问答
在客服的业务场景中，智能问答是一个非常重要的需求，它具备了人工不可比拟的优势：
从而从整体上提高效率，降低成本，实现更好的客户体验和更高效的资源利用。
下面，我们将简要介绍哔哩哔哩客服系统的智能问答。
3.2.1智能问答系统概览
目前，哔哩哔哩客服系统在执行智能问答任务时，会根据匹配度的不同提供两种回答方式：当匹配度较高时，系统会直接给出答案；而当匹配度只是中等时，系统则会提供一个“您想咨询的问题可能是”的列表。这个策略的目的是为了提供更准确、更有用的回答，以帮助用户更快地找到他们需要的信息。
3.2.2机器人问答技术调研
机器人问答技术在实现上主要分为两种类型：检索式和生成式。
检索式：检索式模型通常利用神经网络技术，将大量的预训练语料数据输入到模型中进行训练。在完成训练后，模型能够对新的输入进行分类、匹配和回答问题。这种方案的实现主要依赖于大规模的预训练数据和高效的检索算法。
生成式：另一种类型的是生成式模型，它主要采用深度学习技术以及最新的大语言模型，通过学习大量数据来生成文本。这种方案通常使用循环神经网络（RNN）或变换器（Transformer）等结构，能够处理序列数据并生成新的序列。与检索式模型不同，生成式模型在训练过程中会直接生成目标文本，而不是通过检索匹配。
总的来说，检索式和生成式两种模型各有特点，各有优势，在机器人问答系统中都有应用。具体选择哪种模型，往往需要根据具体的应用场景和需求来决定。
方案对比：
3.2.3向量搜索和基于Faiss实现的智能问答
向量搜索基本原理
给定一个向量集合:
和一个待查询的向量:
从个向量里面找到距离某种距离（比如L2距离）最近的个向量。
其应用包括
这些东西（图片、词语、句子、视频等）都可以用向量表示出来，如下图：
这个事情看起来很简单，但是当我们的数据库变得特别大时，这件事情就变得比较困难了。因此这里就专门来研究如何做这样的向量搜索。
Faiss简介
Faiss(FacebookAISimilaritySearch)是FacebookAI开发的用于高效相似性搜索和向量聚类的库。
Faiss总体使用过程可以分为三步：
详细解释，即为：首先根据原始向量构建一个索引文件，再根据索引文件进行查询。初次查询前需要进行train和add过程，后续若要进行索引的添加可以再次使用add添加索引，如下图所示：
基于Faiss实现的智能问答
在实现检索式的过程中，主要任务是找到与用户提问语句最相似的问法，从而获取对应的答案。这个过程包括以下步骤：
基于Faiss的智能问答如下图所示
Faiss索引选择实践
Faiss提供的索引很多，需要根据数据集的大小和机器的性能来选取合适的索引。
仅有IndexFlatL2索引可以提供确切的结果，但是性能上会比较差，仅适用数据量比较少的情况，通常为其他索引准确度提供基准。
3.3客服坐席调度
3.3.1什么是客服坐席调度
客服坐席调度主要涉及为用户提供选择人工客服的一系列调度策略和逻辑。通过这些策略和逻辑，用户可以快速地联系到合适的人工客服来处理他们的问题，从而获得更及时和有效的帮助。调度策略可以包括根据用户的信息、问题类型、服务需求等因素来分配客服坐席，以及根据坐席的服务质量和服务水平来进行评估和调整。通过合理的调度策略和逻辑，可以提高用户满意度和解决效率，从而提升整个客户服务的品质和用户体验。
大致可以通过以下流程图说明：
坐席调度策略在客户服务中扮演着关键角色。以下是可以看到的几种常见策略及其优势：
在进行了深入研究后，我们发现均衡分配策略是业内使用最广泛和最常用的策略，也被广泛应用于各种客户服务系统。这是因为均衡分配策略可以确保所有坐席的工作量公平分配，防止过度劳累，防止坐席空闲，从而提高整体服务效率。同时，我们也发现，熟客优先策略、上次服务优先策略和指定分配策略都有其特定的适用场景，可以在需要的时候作为均衡分配策略的补充。因此，我们的选择是采用均衡分配策略作为基础的坐席调度策略，同时根据特定情况灵活运用其他策略。
3.3.2均衡分配
在介绍均衡分配前，有几个名词需要提前解释一下：
均衡分配：本系统会在不超过饱和度的情况下，客服均衡获取用户分配
3.3.3如何实现均衡分配
以下是我们客服系统中均衡分配的实现逻辑：
注意，分配是以技能组为单位进行分配。假设一个技能组有两个客服，A客服的饱和度为5，B客服的饱和度为10。
3.3.4排队
以上命令基本可以满足排队场景各项操作。
3.3.4自动进线和会话邀请
当用户进入排队后，有两种方式可以获得人工服务：自动进线和会话邀请。
自动进线：系统会持续扫描未达到饱和度的客服，如果发现有客服尚未达到饱和度，会自动将队列中的用户分配给该客服。
会话邀请：客服人员可以根据自身能力，即使已经超过饱和度，仍然可以邀请排队中的用户进入会话。可以一次性邀请一个或多个用户进入会话。
3.4客服工作台
3.4.1工作台常见功能
工作台是客服人员与用户会话的主战场，其功能非常多，大致有以下一些：
3.4.2部分亮点和智能化功能示意
（限于篇幅，这里也不列举过多）
3.4.3工作台技术难点
工作台消息种类较多，且消息本身会与业务产生关联，如果不合理抽离组件，会影响业务的扩展；
如上图所示，多个消息类型对应多个功能卡片，每个功能卡片会组装多个基础组件，如文本消息=纯文本框+信息面板，以此确保了业务快速扩展能力和基础组件的复用能力。
3.5权限管理
RBAC模型
迄今为止，最普及的权限设计模型是RBAC模型，即基于角色的访问控制（Role-BasedAccessControl）。因此，本次客服系统也参考了RBAC模型。
RBAC模型示意图如下:
目前客服只要求一个用户可以有多个角色，一个角色只有一个权限，如下所示：
RBAC模型目前完全可以支撑当前的客服的权限管理。
权限管理界面
在管理员页面上，可以方便的进行技能组(角色)分配，如下所示：
4规划和展望
4.1大语言模型尝试和探索
总体上，我们学到了客服的回答风格，使回答更为流畅自然，与检索式问答相比，这种方式更容易让客户在心理上接受，并能够做出一些决策。
当然，我们也遇到了强制回答和回答无法解决问题的情况。要解决问题，需要根据客户的具体问题和订单状态来回答。不过，大型语言模型是未来的趋势，值得我们进一步探索。
除了智能问答领域，目前大型语言模型还可以应用于智能话术场景，或者在一些偏向咨询的场景中试用。此外，业内也有在偏向咨询的电商售前场景和互联网教育咨询场景中使用大型语言模型的案例