本发明涉及人工智能,尤其涉及一种在线问诊辅助方法、装置、电子设备和存储介质。
背景技术:
1、在线问诊是在线医疗的重要环节,在线问诊中就诊患者和医生通过视频对话交流,即就诊患者在远端,医生通过语音对话和视频图像对患者进行诊断。
技术实现思路
1、本发明提供了一种在线问诊辅助方法、装置、电子设备和存储介质,以解决在线问诊通过语音沟通难以获得准确有效的信息,影响医生对就诊患者病症的判断的问题。
2、第一方面,本发明提供了一种在线问诊辅助方法,包括:
3、获取就诊患者的就诊目标科室id;
4、加载与所述就诊目标科室id匹配的微表情识别模型;
5、获取所述就诊患者的视频数据;
6、将所述视频数据输入所述微表情识别模型中,得到所述就诊患者的表情标签;
7、根据所述表情标签和所述就诊目标科室id确定辅助文本,并在医生终端显示所述辅助文本。
8、可选的,所述微表情识别模型通过以下方式训练:
9、对efficientdet-lite0模型进行剪枝处理,并将剪枝处理后的模型作为微表情识别模型;
10、将efficentdet-b6模型确定为教师模型;
11、获取训练数据集;
12、采用所述训练数据集训练所述efficentdet-b6模型;
13、在所述efficentdet-b6模型训练完成后,采用所述efficentdet-b6模型和所述训练数据集训练所述微表情识别模型。
14、可选的,将所述视频数据输入所述微表情识别模型中,得到所述就诊患者的目标表情标签,包括:
15、计算所述视频数据中相邻两帧视频图像的相似度;
16、将相似度小于预设阈值的两帧视频图像确定为目标视频图像;
17、将所述目标视频图像输入所述微表情识别模型中,得到所述就诊患者的各个表情标签的第一概率;
18、基于所述第一概率确定所述就诊患者的目标表情标签。
19、可选的,在将所述目标视频图像输入所述微表情识别模型中之前,还包括:
20、对所述目标视频图像进行图像增强处理,得到增强处理后的目标视频图像。
21、可选的,在基于所述第一概率确定所述就诊患者的目标表情标签之前,还包括:
22、从所述视频数据中提取所述就诊患者的语音数据;
23、将所述语音数据分别输入预置的频率识别模型和语音识别模型中,得到所述就诊患者的各个表情标签的第二概率和第三概率,所述频率识别模型用于基于所述语音数据的频率识别所述就诊患者的表情标签,所述语音识别模型用于将所述语音数据转换为文本后识别所述就诊患者的表情标签;
24、所述基于所述第一概率确定所述就诊患者的目标表情标签,包括:
25、针对每个表情标签,根据所述表情标签的第一概率、第二概率和第三概率计算所述表情标签的目标概率;
26、将目标概率最高的表情标签确定为所述就诊患者的目标表情标签。
27、可选的,根据所述表情标签的第一概率、第二概率和第三概率计算所述表情标签的目标概率,包括:
28、基于所述就诊目标科室id确定所述微表情识别模型的第一权重、所述频率识别模型的第二权重以及所述语音识别模型的第三权重;
29、计算所述第一概率与所述第一权重的第一乘积、第二概率与所述第二权重的第二乘积、第三概率与所述第三权重的第三乘积;
30、计算所述第一乘积、第二乘积、第三乘积的和值,作为所述表情标签的目标概率。
31、可选的,根据所述表情标签和所述就诊目标科室id确定辅助文本,并在医生终端显示所述辅助文本,包括:
32、在预置的文本库中,查找与所述表情标签和所述就诊目标科室id匹配的文本作为辅助文本,并在医生终端显示所述辅助文本。
33、第二方面,本发明提供了一种在线问诊辅助装置,包括:
34、目标科室id获取模块,用于获取就诊患者的就诊目标科室id;
35、微表情识别模型加载模块,用于加载与所述就诊目标科室id匹配的微表情识别模型;
36、视频数据获取模块,用于获取所述就诊患者的视频数据;
37、表情标签识别模块,用于将所述视频数据输入所述微表情识别模型中,得到所述就诊患者的表情标签;
38、辅助文本确定和显示模块,用于根据所述表情标签和所述就诊目标科室id确定辅助文本,并在医生终端显示所述辅助文本。
39、第三方面,本发明提供了一种电子设备,所述电子设备包括:
40、至少一个处理器;以及
41、与所述至少一个处理器通信连接的存储器;其中,
42、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明第一方面任一项所述的在线问诊辅助方法。
43、第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明第一方面任一项所述的在线问诊辅助方法。
45、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种在线问诊辅助方法,其特征在于,包括:
2.如权利要求1所述的在线问诊辅助方法,其特征在于,所述微表情识别模型通过以下方式训练:
3.如权利要求1所述的在线问诊辅助方法,其特征在于,将所述视频数据输入所述微表情识别模型中,得到所述就诊患者的目标表情标签,包括:
4.如权利要求3所述的在线问诊辅助方法,其特征在于,在将所述目标视频图像输入所述微表情识别模型中之前,还包括:
5.如权利要求3所述的在线问诊辅助方法,其特征在于,在基于所述第一概率确定所述就诊患者的目标表情标签之前,还包括:
6.如权利要求5所述的在线问诊辅助方法,其特征在于,根据所述表情标签的第一概率、第二概率和第三概率计算所述表情标签的目标概率,包括:
7.如权利要求1-6任一项所述的在线问诊辅助方法,其特征在于,根据所述表情标签和所述就诊目标科室id确定辅助文本,并在医生终端显示所述辅助文本,包括:
8.一种在线问诊辅助装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的在线问诊辅助方法。