情感是人类日常生活的基础,因为它们在人类认知中起着重要作用,即在理性决策、感知、人类互动和人类智力中。然而,情感在很大程度上被忽视了,尤其是在人机交互领域。
情感计算通过将技术和情感融合到人机交互中来填补这一空白。它旨在通过测量用户的情绪状态来模拟人和计算机之间的情绪互动。一个人的内心情感状态可能会通过主观体验(人的感受)、内部表达(生理信号)和外部表达(听觉/视觉信号)而变得明显。关于个人感受的主观自我报告可以提供有价值的信息,但是存在有效性和确证的问题。参与者可能不会确切地回答他们的感受,而是他们认为其他人会回答。
2方法论
3背景
在接下来的段落中,我们将简要介绍情绪的定义和表示,以及EEG信号的主要特征,以便为读者提供一些背景知识。
3.1情绪
情绪表征有两种不同的观点。第一个(分类)表明基本情绪是通过自然选择进化而来的。Plutchik提出了八种基本情绪:愤怒、恐惧、悲伤、厌恶、惊讶、好奇、接受和快乐。其他所有的情绪都可以由这些基本情绪形成(比如失望是由惊讶和悲伤组成的)。Ekman遵循Darwinian的传统,他的工作基于面部表情和情绪之间的关系,这些情绪来自许多普遍的基本情绪:愤怒、厌恶、恐惧、快乐、悲伤和惊讶。在第二个视角(维度)中,基于认知,情绪被映射到效价、觉醒和支配维度。效价从非常积极的感觉到非常消极的感觉(或者不愉快到愉快);唤醒(也称为激活)从困倦状态变为兴奋状态;最后,支配对应于情感的强度。最常用的模型是情感的环状(Circumplex)模型,它只使用效价和唤醒。
3.2EEG
人脑的最大部分,即皮层,分为额叶、颞叶、顶叶和枕叶(见图1)。额叶负责有意识的思考。颞叶负责嗅觉和听觉,以及复杂刺激如面孔和场景的处理。顶叶负责整合来自各种感觉的信息,以及对物体的操纵。最后,枕叶负责视觉。
图1皮层细分为额叶、颞叶、顶叶和枕叶。
δ波与无意识思维有关,发生在深度无梦睡眠期间。θ波与潜意识有关,例如睡眠和做梦等活动。α波通常与放松的精神状态有关,但也是有意识的,在顶叶和枕叶更容易看到。高α活性与大脑失活有关。β波与积极的精神状态有关,在强烈的集中精神活动期间,在额叶皮层和其他区域更为突出。最后,γ波与大脑过度活动有关。在下面的段落中,我们介绍了电极定位以收集EEG信号以及用于评估它们的范例。
图3国际10/20系统。
每个部位都有一个字母来标识脑叶,一个数字来标识半球的位置。F代表额叶,T代表颞叶,C代表中央(虽然没有中央叶,但C字母用于识别),P代表顶叶,O代表枕叶。z(零)指放置在中线上的电极。偶数指右半球的电极位置,奇数指左半球。四个解剖标志用于电极的正确定位:鼻根(前额和鼻子之间的点)、枕骨隆突(后脑勺的最低点)和耳朵前点。
3.2.2EEG范式
3.3大脑中的情绪
α波功率的变化和大脑半球之间的不对称与情绪有关。相对而言,右额叶激活与退缩刺激或负面情绪有关,如恐惧或厌恶。相对较大的左额叶激活与接近刺激或积极情绪有关,如快乐或幸福。因此,不对称的前额叶EEG活动可能反映了效价的变化。β波也与效价有关。对于效价识别,α波的前额叶和顶叶不对称以及γ波的颞叶不对称是存在的,而对于觉醒识别,存在α波的前额叶不对称和γ的颞叶不对称。
先前的研究表明,男性和女性对情感刺激的处理方式不同。他们认为,男性依靠对过去情感经历的回忆来评估当前的情感经历,而女性似乎更容易融入情感系统。也有一些证据表明,当情绪被唤起时,女性的EEG模式更相似,而男性的EEG模式有更多的个体差异。
4Brouwer的建议
通过EEG等神经生理信号识别情绪,以及开发利用这些信息的应用程序,需要来自不同领域的知识。例如,研究人员需要工程、实验设计、目标用户群知识、数学建模、心理生理学、传感器技术、信号处理和系统设计方面的专业知识。所以这是一个很难执行的高度跨学科的领域,也很难分析(无论是专家还是读者)。事实上,本节列举的常见陷阱主要发生在跨学科领域,这些领域将实验心理学、人的因素、机器学习和神经生理学联系在一起(见图4)。实验心理学提供了评估精神状态的方法。创建和测试应用程序需要人为因素。机器学习提供了先进的分类算法。神经生理学提供了关于神经系统功能以及如何测量的知识。
表1Brouwer等提出的在使用反映认知或情感状态的神经生理信号时避免常见陷阱的建议
数据处理业务介绍:
图5使用EEG进行情绪识别的过程。
表5伪迹过滤阶段的工作分析
由于并非所有收集到的频率都对情感识别问题有用,大约84%的工作使用了一些带通滤波器。虽然所有工作都使用了24个频率范围,但最常用的是4-45Hz(33.3%),1-100Hz(6.25%),8-30Hz(6.25%),2-42Hz(6.25%)。陷波滤波器也应用于16.58%的工作(主要是在50和60Hz)。最后,43.9%的工作对原始EEG信号进行了降采样:128Hz(52%),206Hz(16%),256Hz(12%),512Hz(4%),500Hz(4%),300Hz(4%),250Hz(4%),32Hz(4%)。
5.4特征提取
在下面的段落中,我们介绍了从EEG信号中提取的最常见的特征,以及用于执行这些特征的方法(见表6)。
表6特征提取阶段的工作分析
分类器:k-近邻(k-NearestNeighbors,kNN)、线性判别分析(LinearDiscriminantAnalysis,LDA)、逻辑回归(LogisticRegression,LR)、多类支持向量机(Multi-classSupportVectorMachine,ML-SVM)、多层感知器反向传播(Multi-LayerPerceptonBackPropagation,MLP-BP)、朴素贝叶斯(NaiveBayes,NB)、概率神经网络(ProbabiliticNeuralNetwork,PNN)、二次判别分析(QuadraticDiscriminantAnalysis,QDA)、径向基函数(RadialBasisFunction,RBF)和支持向量机(SupportVectorMachines,SVM)
结果:3类:正、负和中性;2类:阳性和中性vs.阴性
7结论
本文中,我们分析了2009年至2016年的工作,这些工作提出了通过EEG信号识别情绪的新方法。我们的分析基于两个角度:一个更一般的角度考虑了一组避免该研究领域常见陷阱的建议,另一个更具体的角度考虑了从
作为分析的结果,并结合Brouwer的建议,我们得出了一套最佳实践建议,以帮助研究人员制作经过良好验证的高质量工作,这些工作能够重现和复制。我们希望这一分析将对研究界有用,特别是对那些进入这一研究领域的人。