数字人开放平台3D互动数字人如何接入虚拟数字人(DVH)

目前互动数字人支持文本交互方式,同时在数字人说话中可以支持通过特定话术进行打断,实现更加友好的双工语音对话体验。

适用于一些需要真人与数字人进行交互的场景,如线下大屏,数字人客服等场景。

下述介绍接入3D互动数字人需要提前完成的步骤,每个步骤都需要完成才能顺利接入3D互动数字人。

创建互动数字人项目时请在场景选择时选择“智能客服”场景,然后点击创建项目。

智能打断开启则数字人在收到用户明确的打断指令,或者智能对话机器人吐出新的答案时,会自动打断数字人正在进行的播报;关闭则数字人在播报答案过程中将忽略真人说话的信息。

数字人应用创建,并配置完成且成功发布之后,可以通过开发者信息获取到对应的tenantId和appId信息,用于后续的技术对接。

下面介绍接入互动数字人的完整步骤以及涉及到API

该功能需要升级虚拟数字人开放平台服务端SDK版本至1.0.5及以上。

下面介绍通过Java调用OpenAPI启动一路数字人实例的代码示例,获取到返回的sessionId以及token。

接口调用返回的sessionId和token在后续步骤对接互动数字人客户端SDK时将会使用到,channel信息在对接RTC进行拉流时需要使用。

互动数字人需要客户端通过WebSocket协议与服务端进行语音流的传输,下面将为您介绍如何通过WebSocket对接互动数字人。

在建立与虚拟数字人开放平台WebSocket服务端连接之后,客户端需要按照互动数字人的对话协议发送对应的请求数据。

通过websocket发送启动对话消息,协议如下:

5{"messageId":"",//必传,消息id,需要保证唯一,可以直接生成16位随机数"receiverId":"ability",//必传,固定值"receiverType":"server",//必传,固定值"sticky":true,//必传,固定值"receiverAppId":"",//必传,数字人应用的开发者信息中的appId"content":{"type":"start",//必传,固定值,表示是启动对话"sessionId":"",//必传,StartInstance接口返回的sessionId"format":"",//可选,音频数据格式,目前支持pcm和wav,不传默认pcm"sampleRate":""//可选,音频采样率,目前支持16000和8000,不传默认16000}}2.2等待服务端启动完成服务端收到启动对话消息之后会进行对话的启动,启动完成之后会下发一条启动完成的消息,结构如下:

该协议支持直接发送纯文本进行对话,也可发送语音流进行对话,在文本和语音同时发送的过程时无法保证对话触发的顺序。

服务端在收到客户端发送的语音流之后,会调用语音转文本服务,最终拿到文本调用智能客服机器人的对话服务,如果客户端发送的是文本,则直接拿文本调用智能客户机器人的对话服务(调用的机器人实例是在互动数字人应用配置页面配置的机器人信息),最终拿到智能客服机器人的回复文本,触发数字人播报对应的回复文本。在这过程中服务端会返回客户端识别到的文本,以及智能客服机器人的回复文本,下面是返回的具体协议。

服务端在语音转文本服务识别到一句完整的句子时会将识别到的文本返回给客户端。

服务端在语音转文本服务识别到一句完整的句子时会将识别到的文本调用智能客服机器人的对话服务,拿到对应的对话回复文本,从而驱动数字人播报对应的回复文本,同时服务端会将回复文本返回给客户端。

在完成一通对话之后,客户端可主动发起停止对话。

5{"messageId":"",//必传,消息id,需要保证唯一,可以直接生成16位随机数"receiverId":"ability",//必传,固定值"receiverType":"server",//必传,固定值"sticky":true,//必传,固定值"receiverAppId":"",//必传,数字人应用的开发者信息中的appId"content":{"type":"stop",//必传,固定值,表示是停止对话"sessionId":"",//必传,StartInstance接口返回的sessionId}}在停止对话之后,如果对应的数字人实例没有停止,可以重新启动对话服务。

停止对话不会停止对应的数字人实例,如果需要停止数字人实例可参考下述步骤6:调用OpenAPI停止对应数字人实例。

下面介绍通过Java调用OpenAPI启动一路数字人实例的代码示例,需要使用到第二步中获取的sessionId。

针对运行中的数字人实例,如果sessionId丢失将无法调用StopInstance接口停止,此时可通过调用QueryRunningIntance接口获取到正在运行中的数字人实例列表,从而获取到对应的sessionId。

智能打断是互动数字人在语音对话过程中支持的智能打断数字人播报的能力,开启后可在通过互动数字人实现真人与数字人进行语音对话过程中,实现真人说:“不要说了”、“别说了”、“停”等具有明确打断含义的话时自动打断数字人播报。

启动“智能打断”需要编辑数字人应用配置,并“保存”“发布”应用配置,然后在下一次启动数据人实例的时候生效。

THE END
1.概念动态每日互动新增“虚拟数字人”概念2024年11月13日,每日互动新增“虚拟数字人”概念。据同花顺数据显示,入选理由是:2024年11月5日互动易:“讷讷”是一个公司自主研发的的数字人应用,它可支持文本、语音和图片等多模态交互,可运行在手机端、PC端。目前,公司自主研发数字https://stock.10jqka.com.cn/20241113/c663474605.shtml
2.数字互动数字展示在线数字互动频道报道数字互动行业相关企业动态,新品信息及数字互动案例方案等。http://www.szzs360.com/tghd/
3.数字媒体艺术(数字互动娱乐方向)(本科)数字媒体艺术(数字互动娱乐方向)专业介绍 一、培养目标 本专业主要培养适应数字经济和市场经济、掌握计算机艺术设计的基础理论知识,具有较强的计算机图形图像处理、广告设计、计算机动画制作、视频编辑与后期制作、网页设计与制作、建筑效果图绘制和一定的角色造型能力,兼具人文素养、艺术创意等素质,具备自学能力和创新意识,能https://zs.sdor.cn/szmtyswszhdylfxwwbkw/list.htm
4.数字叙事与互动数字叙事.docx本文所要做的,是探讨前 一个问题领域,即数字媒介叙事的发展和应用。 1 两个领域:概念和缘起以西方发达国家为先导, 围绕数字媒介叙事这一主题兴起了 诸多实践和研究活动,其中较为成熟的有“数字叙事( Digital Storytelling ,DS ”和“互动数字叙事 (Interactive Digital Narrative,IDN)”两个领域。从字面意思来看,https://max.book118.com/html/2021/0316/5041320042003144.shtm
5.「新意互动怎么样」北京新意互动数字技术有限公司新意互动广告有限公司(CIG)成立于2002年, 总部位于北京,设上海、广州、武汉、南京、重庆等分公司和办事处,全国近700名专业员工。 凭借积累10年的网络全案代理丰富经验,CIG已成为中国*大的网络营销全案代理商之一。 新意互动(CIG)定位为“数字时代的网络营销公司”,致力于专业的网络整合营销传播服务,包括在线广告、网络https://www.jobui.com/company/15428067/
6.鲸鱼视觉鲸鱼视觉作为“科技驱动的数字多媒体服务商”,致力于推进视觉服务产业数字化、智能化,为国内外展馆提供包括多媒体设备、三维数字影片、互动软件、售后等全方位的高品质、高稳定服务。https://www.huomi360.cn/
7.数字化助力“红色根脉”强基工程,宁波“曙色梅园”数字馆开馆数字互动技术,让红色精神传播“活”起来 在“曙色梅园”数字馆,新华智云打造了一幅红色文化数字长卷。集中了人工智能和短视频智能生产等前沿技术,展示周飞、陈晓云等鄞江镇梅园乡最具代表的革命人物和红色地点。 游客可以通过扫脸生成数字人,进入画卷中和革命先辈对话,也可以扫码带走这段视频,穿越到那段http://www.xinhuanet.com/local/20240426/bd9600b4f1c346f18d5927c2ba07a561/c.html
8.互影科技互影ALTSTORY是国内“互动影视”的定义者,开创互动剧、互动电影、互动综艺等全新内容品类,专注于创作和开发极致体验的互动内容产品。互影兼备互动影视的三大核心能力——内容创作、互动设计和技术研发,拥有自研的互动影视全链路开发体系。https://www.altstory.com/
9.数字化沉浸化智慧化!新时代文旅体验馆的全新打开方式!山西文旅数字体验馆是国内首家科技感十足的综合体验馆,场馆含有11个展区+4项亲子研学体验,采用人工智能、混合现实、全息成像、AR、VR、体感交互、数字互动等科技,再现了山西丰富的文旅资源和悠久的历史文明。作为山西文旅数字新名片,山西文旅数字体验馆被评为“2020 年文化和旅游融合发展十大创新项目”之一。 https://www.d-arts.cn/article/article_info/key/MTIwMTg5NTQ3NTGDz3Wtr6yscw.html
10.投影互动展厅多媒体数字展厅数字沙盘致力于做服务最好的数字互动多媒体公司客户第一 服务至上 勇于担当 开拓创新安徽新生信息科技有限公司 致力于做服务最好的数字互动多媒体公司 客户第一 服务至上 勇于担当 开拓创新 安徽新生信息科技有限公司 致力于做服务最好的数字互动多媒体公司 客户第一 服务至上 勇于担当 开拓创新 http://xshengkj.com/
11.直击数字文娱互动体验展创意体验触手可及3月29日,第十届中国网络视听大会(雅安分会场)拉开帷幕。开幕当天,与会嘉宾在讲解员的带领下,参观了中国·雅安大数据产业园。在二楼的数字文娱互动体验展,新鲜的视听技术、身临其境的互动体验,让与会嘉宾称赞不已。 究竟有什么新奇好玩的新技术?在百度智能云展示区,展示了“文心一言”“百度希壤”等新技术。特别是https://wap.beiww.com/zsya/xw/jd/202304/t20230401_1151499.html
12.9D数字科技互动影院加盟?那么想要加盟的投资商就要问了,该选择哪个品牌进行加盟呢?不要着急,小编这里强烈给你推荐一个——9D数字科技互动影院,它已经独领风骚了很多年,风头一直不减当年,可以说现在还是很好。9D数字科技互动影院可以说一直都很辉煌,是加盟投资明智的选择。 那么它有什么过人的地方呢?让我们来看看。首先,它拥有贴心的https://www.jiamengfei.com/news/829634
13.微媒数字营销微媒数字营销年卡服务 丰富的互动功能,活动氛围upup 各式各样的精选皮肤,完美适配不同风格的活动场景 追求丰富的互动玩法及酷炫的互动效果、无品牌营销推广需求的企业或组织 ¥3888/年 支持品牌自定义,加强品牌露出 一键打造品牌专属活动 提升营销获客能力/用户留存率 /用户黏性 https://www.wmnetwork.cc/promotion/vip_intro
14.腾讯推出沉浸互动数字产品游戏科技让世界遗产“新生”活化数字中轴欢迎八方来客 腾讯今日宣布推出沉浸式体验产品“数字中轴·小宇宙”,为全球用户提供迄今为止规模最大的古都景观沉浸式数字体验,让北京中轴线焕活新生。同日,北京中轴线被联合国教科文组织(UNESCO)列入《世界遗产名录》。 如今,用户可以使用智能手机,通过微信小程序“云上中轴”访问“数字中轴·小宇宙”,在虚拟https://www.tencent.com/zh-cn/articles/2201899.html
15.猜数字,大巴互动游戏,团建破冰小游戏说到猜数字的游戏,大家第一反应觉得是数学游戏,其实不然,在活动破冰中我们经常使用的互动小游戏猜数字其实是一种心理学的游戏。 猜数字 游戏玩法: 1.教练员在手机上按下一个数字(介于0-100之间)然后锁屏。距离:教练按下数字是49 2.从大巴的前面开始猜数字。 http://www.17zhuiyue.com/h-nd-207.html
16.数英联合140+品牌&代理商,“猪”你新年更有戏!28、creatife 介陌数字互动创意 新年有梗更有戏 数英账号:digitaling.com/company/12025 29、CubeRights 对立方 新年要对立,方能更有戏 数英账号:digitaling.com/company/11694 官网:cuberights.com 30、道里 新年道里更有戏 数英账号:digitaling.com/company/12262 https://www.digitaling.com/articles/93736.html
17.鸿奥数字文旅鸿奥数字致力于数字展厅展馆艺术体验营造,将科学与艺术美学相融合,为客户创造更有价值的科学数字互动体验,业务内容涵盖数字多媒体展厅、数字沙盘、互动投影、展厅多媒体、数字影片、3D全息投影、VR虚拟现实、AR增强现实制作等一站式服务,免费提供解决方案http://www.hongaojs.com/