在AI实时互动功能中,AI智能体被定义为云端高拟真用户,用于实现与用户的音视频交互。为了满足不同的交互需求,您需要为智能体配置相应的工作流。阿里云为您提供了三种工作流类型,以满足您的业务需求。
语音通话
用户通过语音与智能助手交流对话,获取即时的信息反馈和服务。
数字人通话
通过视频方式与数字人对话,为用户提供更加真实的互动体验。
视觉理解通话
通过视频方式与智能体互动,智能体将结合用户的语音和摄像头画面来提供反馈。
您只需要配置以下3个节点,就能完成语音通话工作流的创建。
知识问答系统可以作为在线客服和智能助手,为用户提供快速且准确的答案与解决方案。通过对大量问题及答案的学习和理解,系统能够根据用户提出的问题进行有效回答,从而提升用户体验和服务质量。
功能
说明
实时通话(ARTC)
实时工作流
您可以使用白屏化的方式,灵活地编排智能体AI的工作流。
自定义智能体形象
您可以为所创建的智能体上传一张图片,以便在语音通话场景中展示该智能体的形象。
欢迎词
您可以在控制台中配置欢迎词内容,当用户与AI智能体开始对话时,智能体将播报该欢迎词内容。
主动播报
业务服务器可以通过OpenAPI的形式,让智能体主动向用户输出音视频内容。
实时字幕
用户与智能体之间的对话内容可在终端用户界面上实时呈现。
智能降噪
AI智能体将自动过滤对话过程中用户侧产生的嘈杂音。当用户侧有多个人同时说话时,将优先采集音量最大的人声。
智能打断
在与AI智能体对话时,AI智能体能够有效识别用户在对话中的打断意图。
智能断句
智能体能够自动识别并分割长句或复杂句,以提升文本的可读性和用户体验。
对讲机模式
用户可以在启动或者通话中设置通话模式为对讲机模式,通过按下按钮与智能体进行交互。
ASR热词
声纹降噪
在多人交谈的场景中,智能体通过识别主讲人的声纹特征,更加精确地捕捉和保留主讲人的语音,同时降低对无关噪音的干扰。
真人接管
在用户与智能体进行交互时,如遇无法处理的情况或需做出关键决策时,可以选择由真人进行接管以做出决策。
优雅下线
当业务服务器需要停止智能体时,允许智能体完成当前对话的表达后再进行停止操作,以避免对话被生硬地打断。
数据归档
将用户与AI智能体的对话转化为文本信息并进行存储,企业可通过API接口调用以消费这部分数据。同时,企业可以将用户与AI智能体通话的音视频数据存储至对象存储服务(OSS)或视频点播(VOD)平台。