本发明涉及心理健康领域、智能传感领域、虚拟现实技术、大数据分析领域和人工智能领域等，具体涉及一种基于虚拟现实技术的心理评估方法。
背景技术：
随着社会经济的快速发展和竞争压力不断加大，各类心理健康问题层出不穷。
然而目前我国相应的医疗资源严重不足，我国临床诊断心理问题一般先通过设备检查来排除器质性疾病，然后采用量表评估和医生评估相结合的方式来确诊是否患有心理疾病，医患面对面的诊断过于依赖医生的专业知识及主观意见。鉴于病人普遍具有病耻感，在与医生面对面的交流过程中可能有所隐瞒，这导致医患沟通存在很大困难。
虚拟现实(virtualreality，vr)技术在近些年得到大力推广及发展，在医疗领域已有一定的应用，并且在心理疾病治疗方面也进行了尝试。vr技术能构建与真实世界高度相近的虚拟世界，使用者能与虚拟世界进行接近真实的交互，产生身临其境的体验。
因此，将vr技术、智能传感技术、虚拟现实技术、大数据分析技术、人工智能技术与传统心理评估方法相结合，可以弥补传统方法的诸多不足，并且为评估心理状态提供了一种新的方法及思路。
技术实现要素：
为解决现有技术所存在的问题，本发明提供一种基于虚拟现实技术的心理评估方法，该方法将vr技术、智能传感技术、大数据分析技术、人工智能技术与传统心理评估方法相结合，提升了心理评估的准确性，同时还有效节约了医疗资源。
本发明所采用的技术方案如下：一种基于虚拟现实技术的心理评估方法，包括以下步骤：
s1：选定心理量表；
s2：将所选定的心理量表虚拟场景化，呈现基于特定心理量表设计的评估内容；
s3：实时采集受试者问答数据、行为数据和生理数据；
s4：基于受试者的问答选项，完成心理量表问题的智能跳转；
s5：对量表内容进行综合智能分析，综合智能分析将行为数据通过卷积神经网络训练、问答数据通过循环神经网络训练、生理数据通过卷积神经网络训练后的输出经特征融合后输入到一个softmax层，得出心理评估模型；
s6：采用心理评估模型对受试者初步学习获得的心理评估结果与医生标签进行比对，通过计算损失函数和梯度反向传导，对受试者的问答选项进行智能校正；
s7：再将生理数据、行为数据和经校正的问答选项由心理评估模型计算，从而得到最终综合评估结果。
优选地，步骤s5对行为数据进行卷积神经网络的训练过程包括以下步骤：
(1)对视频采集的行为数据分别提取形状信息和光流信息；
(2)对提取的形状信息和光流信息进行预处理，得到卷积神经网络的输入图像；
(3)设置卷积神经网络的参数，将形状信息和光流信息进行预处理后的输入图像分别输入两个卷积神经网络进行训练；
(4)将经两个卷积神经网络处理后的形状信息和光流信息的特征进行融合；
(5)经步骤(4)特征融合后的输出依次输入到后续卷积层、池化层和全连接层。
优选地，步骤s5对问答数据在循环神经网络处理的步骤如下：
(1)对语音问答数据进行自然语言处理，将语音数据转化为文本数据；
(2)对文本数据进行编码；
(3)将第一次问答数据输入到循环神经网络；
(4)将本次问答数据与上一步输出结果输入到循环神经网络；
(5)循环步骤(4)，直至问答结束。
优选地，步骤s5对生理数据进行卷积神经网络的训练过程包括以下步骤:
(21)对生理数据进行短时傅里叶变换，获取多通道频谱图；
(22)将多通道频谱图采用卷积神经网络进行训练。
从以上技术方案可知，本发明基于虚拟现实技术，融合被评测对象心理量表测定、行为数据和实时监测的生理数据，通过基于带有医生标记的数据经由卷积神经网络和循环神经网络等深度学习算法得到心理评估模型，该模型具有临床经验，可独立智能评估没有医生标记的数据。同时，本发明将受试者的心理评估结果与医生标签进行比对，通过计算损失函数和梯度反向传导对问答选项进行智能校正，校正后的问答数据能更好地反映受试者真实心理状态，再经由心理评估模型计算，从而得到最终综合评估结果。与现有技术相比，本发明至少有如下有益效果：
附图说明
图1为本发明心理评估流程图；
图2为综合智能分析原理图；
图3为智能矫正原理图；
图4为行为数据处理过程图；
图5为问答数据处理的网络结构图；
图6为生理数据处理过程图。
具体实施方式
本发明提出了一种基于虚拟现实技术的心理评估方法，将心理量表评估过程具象化，利用虚拟现实技术将量表问题转化成为便于受试者理解的虚拟场景；同时将医生观测数据数字化，采集受试者生理数据，处理受试者量表问答数据，将三者结合进行综合分析，同时对受试者无效作答智能校正。避免了受试者因为外界干扰和医生观测的不同造成评估结果的差异，以及因病耻感而回避回答隐私问题，为此沉浸式虚拟现实内容的多样性和真实性为医生评估带来很大的方便，同时在特定情境下基于大数据技术能挖掘出受试者更多的信息。
本发明心理评估方法包括心理量表的虚拟现实呈现、语音识别及自然语言处理技术、评估问题的智能跳转逻辑、受试者问答选项的智能校正算法、综合智能分析算法，如图1，具体包括如下步骤：
步骤s1：选定心理量表；
步骤s2：将所选定的心理量表虚拟场景化，呈现基于特定心理量表设计的评估内容；
所述心理量表的虚拟现实呈现，利用虚拟现实技术，将心理量表转化为虚拟空间中虚拟医生的提问形式。心理量表虚拟场景化，即通过对情绪空间进行分解，制作具有特定情绪诱发的虚拟现实场景，将心理量表问题具象化。
将心理量表测定过程虚拟现实场景化，用于提高受试者对心理量表问题理解的准确性，提高受试者答案的有效性，从而心理评估结果更为科学有效；同时辅助于客观生理数据与行为数据，为心理状态评估提供有效又便捷的手段。其中虚拟现实场景包括但不限于虚拟医生形象设计、虚拟空间设计、虚拟医生问询形式。
步骤s3：采集受试者实时问答数据、实时行为数据和实时生理数据；
所述采集的受试者实时生理数据，包括但不限于脑电、脑血流、脉搏、心电、肌电、体温、皮电、血氧浓度。用于分析受试者问答过程中的心理状态，作为心理评估模型的输入以及用于智能跳转逻辑的条件判断。
步骤s4：基于受试者的问答选项，完成心理量表问题的智能跳转；
步骤s5：对量表内容进行综合智能分析；
具体来说，综合分析首先对行为数据、生理数据、问答数据分别进行卷积神经网络、循环神经网络、卷积神经网络的训练，将三类数据训练后的输出进行特征融合，输入到softmax层。
对实时行为数据进行处理，如图4所示，输入视频材料(受试者的行为信息)，提取其中形状信息和光流信息，两者分别输入到一个卷积神经网络中，两个卷积神经网络结构相同，包括第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层1、第三卷积层2、第三池化层，两个卷积神经网络进行特征融合后，输入到第四卷积层、第四池化层、第五全连接层、第六全连接层。所述第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层1、第三卷积层2、第三池化层依次相连，所述卷积神经网络、第四卷积层、第四池化层、第五全连接层、第六全连接层依次相连。
对实时行为数据进行卷积神经网络的训练过程包括以下步骤：
(3)设置卷积神经网络的参数，将进行预处理后的输入图像输入卷积神经网络进行训练。卷积神经网络对输入图像的训练，具体步骤如下：
(31)输入图像输入第一卷积层，对其进行大小为3*3，步长为1，填充距离为1的卷积操作，一共使用3个卷积核；
(32)经第一卷积层输出的图片输入到第一池化层，进行最大池操作，池化块的大小为2*2，步长为2；
(33)经第一池化层输出的图片输入到第二卷积层，对其进行大小为3*3，步长为1，填充距离为1的卷积操作，一共使用3个卷积核；
(34)经第二卷积层输出的图片输入到第二池化层，进行最大池操作，池化块的大小为2*2，步长为2；
(35)经第二池化层输出的图片输入到第三卷积层1，对其进行大小为3*3，步长为1，填充距离为1的卷积操作，一共使用3个卷积核；
(36)经第三卷积层1输出的图片输入到第三卷积层2，对其进行大小为3*3，步长为1，填充距离为1的卷积操作，一共使用3个卷积核；
(37)经第三卷积层2输出的图片输入到第三池化层，进行最大池操作，池化块的大小为2*2，步长为2.
(5)经步骤(4)特征融合后的输出输入到第四卷积层,对其进行大小为3*3，步长为1，填充距离为1的卷积操作，一共使用3个卷积核；
(6)经第四卷积层输出的图片输入到第四池化层，进行最大池操作，池化块的大小为2*2，步长为2；
(7)经第四池化层输出的图片输入到第五全连接层；
(8)经第五全连接层输出的图片输入到第六全连接层。
对问答数据进行处理的网络结构如图5所示，是一个长短期记忆循环神经网络。所述问答数据在长短期记忆循环神经网络处理的步骤如下：
基于智能语音识别与自然语言处理算法，将受试者回答问题的语音信号转化为文本，结合医学词库经行自然语言处理得到实时答题结果，其中包括但不仅限于分词算法、关键词提取、文本情绪识别算法。
(3)将第一次问答数据(即问答数据1)输入到长短期记忆循环神经网络；
(4)将本次问答数据与上一步输出结果输入到长短期记忆循环神经网络；
采用卷积神经网络对生理数据进行处理的过程如图6所示，输入实时监测的生理数据，经过短时傅里叶变换，获取生理数据的多通道频谱图，输入到一个卷积神经网络，该卷积神经网络包括第一卷积层、第二卷积层、第三池化层及第四全连接层。所述生理数据卷积神经网络的训练过程包括以下步骤:
(1)对生理数据进行短时傅里叶变换，获取多通道频谱图；
(2)设置所述卷积神经网络的参数，将多通道频谱图输入所述卷积神经网络进行训练。生理数据在卷积神经网络的训练步骤如下：
(22)将频谱图输入第一卷积层，对其进行大小为15*3，步长为1，填充距离为1的卷积操作，一共使用2个卷积核；
(23)将经第一卷积层输出的图输入到第二卷积层，对其进行大小为1*1，步长为1，填充距离为1的卷积操作，一共使用1个卷积核；
(24)将经第二卷积层输出的图输入到第三池化层，进行最大池操作，池化块的大小为2*2，步长为2；
(25)经第三池化层输出的图片输入到第四全连接层。
行为数据的卷积神经网络、问答数据的循环神经网络、生理数据的卷积神经网络的输出经特征融合后输入到一个softmax层，得出心理评估模型。所述特征融合将行为数据的卷积神经网络、问答数据的循环神经网络、生理数据的卷积神经网络的输出结果全串联。
步骤s6：智能校正错误问答选项；
本步骤对受试者的错误问答选项进行智能校正，通过将受试者问答数据、行为数据与生理数据进行训练，输出心理评估结果与医生标签进行比对，计算损失函数和梯度反向传导对问答选项，校正受试者的错误回答，如图3所示。
如图2、3，本发明在步骤s5对量表内容进行综合智能分析以及步骤s6智能校正错误问答选项时，均对受试者行为数据进行特征融合处理，模拟医生临床评估过程观察受试者状态，记录受试者实时行为数据，包括但不仅限于表情、声音、眼动、肢体动作。利用表情识别、声音及其情绪识别、动作识别等技术，用于综合智能分析算法的输入以及用于智能跳转逻辑的条件判断。对受试者的实时行为数据进行语音识别及自然语言处理，实时采集受试者的语音信号并转化为文本，对文本进行自然语言处理分析语义与情绪。
步骤s7：得到最终受试者心理评估报告。
本发明通过综合智能分析，将带有医生标定的数据经由卷积神经网络和循环神经网络等深度学习算法进行学习，得到心理评估模型。同时，本心理评估模型对受试者初步学习获得的心理评估结果与医生标签进行比对，通过计算损失函数和梯度反向传导，对问答选项进行智能校正。再将生理数据、行为数据和经校正的问答选项由心理评估模型计算，从而得到最终综合评估结果。
本发明模拟现实心理评估过程，通过心理量表问答智能逻辑，实现虚拟现实场景中的虚拟医生与受试者智能人机交互，实时观察与记录受试者行为数据、生理数据、问答数据等；基于带有医生标记的数据经由卷积神经网络和循环神经网络等深度学习算法得到心理评估模型，该模型具有临床经验，可独立智能评估没有医生标记的数据。