清华权威报告告诉你:人工智能的情感计算是什么? 人类的认知行为等几乎都要受到情感的驱动,并影响着人际互动以及群体活动。在人与人的交往中, 情感的交流还常被用来完成人的... 

人类的认知、行为等几乎都要受到情感的驱动,并影响着人际互动以及群体活动。在人与人的交往中,情感的交流还常被用来完成人的意图的传递。因此,在智能人机交互的研究中,拥有对情感的识别、分析、理解、表达的能力也应成为智能机器必不可少的一种功能。

40多年前,诺贝尔奖得主HerbertSimon在认知心理学方面强调,解决问题论要结合情感的影响。情感的识别和表达对于信息的交流和理解是必需的,也是人类最大的心理需求之一。人类的认知、行为等几乎都要受到情感的驱动,并影响着人际互动以及群体活动。在人与人的交往中,情感的交流还常被用来完成人的意图的传递。

因此,在智能人机交互的研究中,拥有对情感的识别、分析、理解、表达的能力也应成为智能机器必不可少的一种功能。

作为人工智能创始人之一的美国麻省理工学院MarvinMinsky教授首次提出让计算机具有情感的能力,他在其专著《TheSocietyofMind》中强调情感是机器实现智能不可或缺的重要能力。20世纪90年代初,耶鲁大学心理学系的PeterSalovey教授提出了情感智能的概念,并开展了一系列的研究。该概念随后被DanielJ.Goleman发展为与智商(IQ)相对的情商(EQ),随着Goleman的赋予计算机情感能力,并让计算机能够理解和表达情感的探讨与研究引起了计算机界众多专家的兴趣,他们在情感研究的理论和实验应用方面积累了很多经验。

本文来自于清华大学的研究报告《人工智能之情感计算》,从技术特点、人才状况、应用和趋势四个方面深入解读人工智能情感计算。

一、什么是情感计算

在人机交互中,计算机需要捕捉关键信息,觉察人的情感变化,形成预期,进行调整,做出反应。例如通过对不同类型的用户建模(如操作方式、表情特点、态度喜好、认知风格、知识背景等),以识别用户的情感状态,利用有效的线索选择合适的用户模型,并以适合当前用户的方式呈现信息。在对当前的操作做出及时反馈的同时,还要对情感变化背后的意图形成新的预期,并激活相应的数据库,及时主动地提供用户需要的新信息。举例来说,麻省理工学院媒体实验室的情感计算小组研制的情感计算系统通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据,然后由一个“情感助理”来调节程序以识别人的情感。假设你对电视讲座的一段内容表现出困惑,情感助理会重放该片段或者给予解释。而目前国内情感计算的研究重点在于通过各种传感器获取有人的情感所引起的生理及行为特征信号,确定情感类别的关键特征,建立“情感模型”,从而创建个人情感计算系统。

情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合,研究人与人交互、人与计算机交互过程中的情感特点,设计具有情感反馈的人与计算机的交互环境,将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解,并提高人与计算机界面的和谐性,即提高计算机感知情境,理解人的情感意图,做出适当反应的能力,其主要研究内容如下图所示:

情感计算的研究内容

情感计算是一个多学科交叉的崭新的研究领域,它涵盖了传感器技术、计算机科学、认知科学、心理学、行为学、生理学、哲学、社会学等方面。情感计算的最终目标是赋予计算机类似于人的情感能力。要达到这个目标,许多技术问题有待解决。这些技术问题的突破对各学科的发展都产生巨大的推动作用。以下分别从情感计算的传统研究方法和新兴研究方法对技术发展进行探讨。

1、传统的研究

传统的情感计算方法是按照不同的情感表现形式分类的,分别是:文本情感分析、语音情感分析、视觉情感分析。

1.1文本情感计算

1、文本情感特征标注:情感特征标注是对情感语义特征进行标注,通常是将词或者语义块作为特征项。情感特征标注首先对情感语义特征的属性进行设计,如褒义词、贬义词、加强语气、一般语气、悲伤、高兴等等;然后通过机器自动标注或者人工标注的方法对情感语义特征进行标注,形成情感特征集合。情感词典是典型的情感特征集合,也是情感计算的基础。在大多数研究中,有关情感计算的研究通常是将情感词典直接引入自定义词典中。

运用情感词典计算出文本情感值是一种简单迅速的方法,但准确率有待提高。在实际的情感计算中,会因为具体的语言应用环境而有所不同。例如,“轻薄”一词通常认为是否定词,但是在电脑、手机却被视为肯定词汇。同时,文本中常会出现否定前置、双重否定以及文本口语化和表情使用等,这些都将会对文本情感特征的提取和判断产生较大的影响。因此在进行文本情感提取时,需要对文本及其对应的上下文关系、环境关系等进行分析。

3、情感信息分类:文本情感分类技术中,主要采用两种技术路线:基于规则的方法和基于统计的方法。在20世纪80年代,基于规则的方法占据主流位置,通过语言学家的语言经验和知识获取句法规则,以此作为文本分类依据。但是,获取规则的过程复杂且成本巨大,也对系统的性能有负面影响,且很难找到有效的途径来提高开发规则的效率。20世纪90年代之后,人们更倾向于使用统计的方法,通过训练样本进行特征选择和参数训练,根据选择的特征对待分类的输入样本进行形式化,然后输入到分类器进行类别判定,最终得到输入样本的类别。

下表整理了10个文本情感分析API,供读者参考:

1.2语音情感计算

整体而言,语音情感识别研究在该时期仍旧处于初级阶段,主要侧重于情感的声学特征分析这一方面,作为研究对象的情感语音样本也多表现为规模小、自然度低、语义简单等特点,虽然有相当数量的有价值的研究成果相继发表,但是并没有形成一套被广泛认可的、系统的理论和研究方法。进入21世纪以来,随着计算机多媒体信息处理技术等研究领域的出现以及人工智能领域的快速发展,语音情感识别研究被赋予了更多的迫切要求,发展步伐逐步加快。2000年,在爱尔兰召开的ISCAWorkshoponSpeechandEmotion国际会议首次把致力于情感和语音研究的学者聚集在一起。近10余年来,语音情感识别研究工作在情感描述模型的引入、情感语音库的构建、情感特征分析等领域的各个方面都得到了发展。下面将从语音情感数据库的采集、语音情感标注以及情感声学特征分析方面介绍语音情感计算。

1、语音情感数据库的采集

语音情感识别研究的开展离不开情感语音数据库的支撑。情感语音库的质量高低,直接决定了由它训练得到的情感识别系统的性能好坏。评价一个语音情感数据库好坏的一个重要标准是数据库中语音情感是否具备真实的表露性和自发性。目前,依据语音情感激发类型的不同,语音情感数据库可分为表演型、诱发型和自发型三种。

2、语音情感数据库的标注

对于采集好的语音情感库,为了进行语音情感识别算法研究,还需要对情感语料进行标注。标注方法有两种类型:

离散型情感标注法指的是标注为如生气、高兴、悲伤、害怕、惊奇、讨厌和中性等,这种标注的依据是心理学的基本情感理论。基本情感论认为,人复杂的情感是由若干种有限的基本情感构成的,就像我们自古就有“喜、怒、哀、乐,恐、悲、惊”七情的说法。不同的心理学家对基本情感有不同的定义,由此可见,在心理学领域对基本情感类别的定义还没有一个统一的结论,因此不同的语音情感数据库包含的情感类别也不尽相同。这不利于在不同的语音情感数据库上,对同一语音情感识别算法的性能进行评价。此外,众所周知,实际生活中情感的类别远远不止有限几类。基于离散型情感标注法的语音情感识别容易满足多数场合的需要,但无法处理人类情感表达具有连续性和动态变化性的情况。在实际生活中,普遍存在着情感变化的语音,比如前半句包含了某一种情感,而后半句却包含了另外一种情感,甚至可能相反。例如,某人说话时刚开始很高兴,突然受到外界刺激,一下子就生气了。对于这种在情感表达上具有连续和动态变化的语音,采用离散型情感标注法来进行语音情感识别就不合适了。因为此时语音的情感,己不再完全属于某一种具体的情感。

维度情感空间论基于离散型情感标注法的缺陷,心理学家们又提出了维度情感空间论,即对情感的变化用连续的数值进行表示。不同研究者所定义的情感维度空间数目有所不同,如二维、三维甚至四维模型。针对语音情感,最广为接受和得到较多应用的为二维连续情感空间模型,即“激活维-效价维”(Arousal-Valence)的维度模型。“激活维”反映的是说话者生理上的激励程度或者采取某种行动所作的准备,是主动的还是被动的;“效价维”反映的是说话者对某一事物正面的或负面的评价。随着多模态情感识别算法的研究,为了更细致的地描述情感的变化,研究者在“激活维-效价维”(Arousal-Valence)二维连续情感空间模型的基础上,引入“控制维”,即在“激活维-效价维-控制维(Arousal-Valence/Pleasure-Power/Dominance)”三维连续情感空间模型上对语音情感进行标注和情感计算。需要强调的是,离散型和连续型情感标注之间,它们并不是孤立的,而是可以通过一定映射进行相互转换。

3、情感声学特征分析

情感声学特征分析主要包括声学特征提取和声学特征选择、声学特征降维。采用何种有效的语音情感特征参数用于情感识别,是语音情感识别研究最关键的问题之一,因为所用的情感特征参数的优劣直接决定情感最终识别结果的好坏。

特征选择是指从一组给定的特征集中,按照某一准则选择出一组具有良好区分特性的特征子集。

特征选择方法主要有两种类型:封装式(Wrapper)和过滤式(Filter)。Wrapper算法是将后续采用的分类算法的结果作为特征子集评价准则的一部分,根据算法生成规则的分类精度选择特征子集。Filter算法是将特征选择作为一个预处理过程,直接利用数据的内在特性对选取的特征子集进行评价,独立于分类算法。

声学特征降维。特征降维是指通过映射或变换方式将高维特征空间映射到低维特征空间,已达到降维的目的。特征降维算法分为线性和非线性两种。最具代表性的两种线性降维算法,如主成分分析PCA(PrincipalComponentAnalysis)和线性判别分析LDA(LinearDiscriminantAnalysis),已经被广泛用于对语音情感特征参数的线性降维处理。也就是,PCA和LDA方法被用来对提取的高维情感声学特征数据进行嵌入到一个低维特征子空间,然后在这降维后的低维子空间实现情感识别,提高情感识别性能。

近年来,新发展起来的基于人类认知机理的流形学习方法比传统的线性PCA和LDA方法更能体现事物的本质,更适合于处理呈非线性流形结构的语音情感特征数据。但这些原始的流形学习方法直接应用于语音情感识别中的特征降维,所取得的性能并不令人满意。主要原因是他们都属于非监督式学习方法,没有考虑对分类有帮助的已经样本数据的类别信息。尽管流形学习方法能够较好地处理非线性流形结构的语音特征数据,但是流形学习方法的性能容易受到其参数如邻域数的影响,而如何确定其最佳的邻域数,至今还缺乏理论指导,一般都是根据样本数据的多次试验结果来粗略地确定。因此,对于流形学习方法的使用,如何确定其最佳参数,还有待深入研究。

下表为常用语音情感数据库,供读者参考:

1.3视觉情感计算

表情作为人类情感表达的主要方式,其中蕴含了大量有关内心情感变化的信息,通过面部表情可以推断内心微妙的情感状态。但是让计算机读懂人类面部表情并非简单的事情。人脸表情识别是人类视觉最杰出的能力之一。而计算机进行自动人脸表情识别所利用的主要也是视觉数据。无论在识别准确性、速度、可靠性还是稳健性方面,人类自身的人脸表情识别能力都远远高于基于计算机的自动人脸表情识别。因此,自动人脸表情识别研究的进展一方面依赖计算机视觉、模式识别、人工智能等学科的发展,另一方面还依赖对人类本身识别系统的认识程度,特别是对人的视觉系统的认识程度。

早在20世纪70年代,关于人脸表情识别的研究就已经展开,但是早期主要集中在心理学和生物学方面。随着计算机技术的发展,人脸表情识别技术逐渐发展起来,至上世纪90年代,该领域的研究已经非常活跃。大量文献显示表情识别与情感分析已从原来的二维图像走向了三维数据研究,从静态图像识别研究专项实时视频跟踪。下面将从视觉情感信号获取、情感信号识别以及情感理解与表达方面介绍视觉情感计算。

视觉情感信号获取:表情参数的获取,多以二维静态或序列图像为对象,对微笑的表情变化难以判断,导致情感表达的表现力难以提高,同时无法体现人的个性化特征,这也是表情识别中的一大难点。以目前的技术,在不同的光照条件和不同头部姿态下,也不能取得满意的参数提取效果。由于三维图像比二维图像包含更多的信息量,可以提供鲁棒性更强,与光照条件和人的头部姿态无关的信息,用于人脸表情识别的特征提取工作更容易进行。因此,目前最新的研究大多利用多元图像数据来进行细微表情参数的捕获。该方法综合利用三维深度图像和二维彩色图像,通过对特征区深度特征和纹理彩色特征的分析和融合,提取细微表情特征,并建立人脸的三维模型,以及细微表情变化的描述机制。

视觉情感信号识别:视觉情感信号的识别和分析主要分为面部表情的识别和手势识别两类:

马里兰大学的YeserYacoob和LarryDavis提出了另一种面部表情识别模型,它也是基于动作能量模版,但是将模版、子模版(例如嘴部区域)和一些规则结合起来表达情感。例如,愤怒的表情在从眼睛区域提取的子模版中,特别是眉毛内敛、下垂,在嘴巴区域子模版中,特别是嘴巴紧闭,两个子模板结合起来,就很好表达了愤怒这一情感。后续的研究总体上结合生物识别方法及计算机视觉进行,依据人脸特定的生物特征,将各种表情同脸部运动细节(几何网格的变化)联系起来,收集样本,提取特征,构建分类器。但是目前公开的用于表情识别研究的人脸图像数据库多是采集志愿者刻意表现出的各种表情的图像,与真实情形有出入。

脸部表情运动特征具体表现

手势识别的基本框架

2、新兴的研究

2.1网络海量数据的情感计算

随着时代的发展,网络赋予情感计算新的、更大的数据平台,打开了情感计算的新局面。网络系统由于沟通了人类的现实世界和虚拟世界,可以持续不断地对数量庞大的样本进行情感跟踪,每天这些映射到网络上的情绪不计其数,利用好这些数据反过来就可以验证心理学结论,甚至反哺心理学。由于大数据的分布范围极其广泛,样本数量非常庞大,采用单一的大数据处理方法往往得不到有效的情感要素,统计效果较差。但是,如果将大数据和心理学结合起来,局面就会大不一样:心理学中,不同情感可以采用维度标定,如冷暖或软硬,同时各种心理效应影响人类对事物的情感判断,如连觉效应、视觉显著性、视觉平衡等,在大数据中引入心理学效应和维度,对有效数据进行心理学情感标准划分,使得数据具有情感维度,这样就会让计算机模拟人类情感的准确性大大提升。网络海量数据的情感主要有以下几个社会属性:

情感随群体的变化:在社交网络,如论坛、网络社区等群体聚集的平台上流露出群体的情感,通过这些情感展现可以达到影响其他个人的行为。

情感随图片的变化:在社交媒体出现大量的图片,这些图片的颜色、光度、图片内容等各不相同。图片的特征直接影响到了观看者的情感。

情感随社会角色的变化:在社交网络中,个人在不同的群体所处的角色也不一样,个人情感流露时也会跟着所处的角色不一样而展现不同的情感。

2.2多模态计算

虽然人脸、姿态和语音等均能独立地表示一定的情感,但人的相互交流却总是通过信息的综合表现来进行。所以,只有实现多通道的人机界面,才是人与计算机最为自然的交互方式,它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体,并对这些通道信息进行编码、压缩、集成和融合,集中处理图像、音频、视频、文本等多媒体信息。多模态计算是目前情感计算发展的主流方向。每个模块所传达的人类情感的信息量大小和维度不同。在人机交互中,不同的维度还存在缺失和不完善的问题。因此,人机交互中情感分析应尽可能从多个维度入手,将单一不完善的情感通道补上,最后通过多结果拟合来判断情感倾向。

在多模态情感计算研究中,一个很重要的分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中,使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术,构筑了栩栩如生的情感虚拟头像,并积极转向嵌入式平台和游戏平台等实际应用。

目前,情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如:在情感语音声学分析的基础上,运用线性统计方法和神经网络模型,实现了基于语音的情感识别原型;通过对面部运动区域进行编码,采用HMM等不同模型,建立了面部情感特征的识别方法;通过对人姿态和运动的分析,探索肢体运动的情感类别等等。不过,受到情感信息捕获技术的影响,以及缺乏大规模的情感数据资源,有关多特征融合的情感理解模型研究还有待深入。随着未来的技术进展,还将提出更有效的机器学习机制。

二、人才

1、全球学者概况

学者分布地图对于进行学者调查、分析各地区竞争力现况尤为重要,下图为情感计算领域全球顶尖学者分布状况。其中,颜色越趋近于红色,表示学者越集中;颜色越趋近于绿色,表示学者越稀少。从地区角度来看,北美洲、欧洲是情感计算领域学者分布最为集中的地区,亚洲东部地区次之,南美洲和非洲学者极为匮乏。从国家角度来看,情感计算领域的人才在美国最多,中国次之,意大利、法国等洲国家也有较多的学者数量,整体上讲其它国家与美国的差距较大。

情感计算全球专家分布

情感计算专家国家数量分布

情感计算领域学者h-index分布

各国情感计算TOP学者的流失和引进是相对比较均衡的,其中美国是情感计算领域人才流动大国,人才输入和输出幅度领先于其他国家,且从数据来看人才流出大于人才流入。英国、加拿大和印度等国人才迁徙流量小于美国;中国人才流入略高于人才流出。人才的频繁流入流出,使得该领域的学术交流活动增加,带动了人才质量提升的同时,也促进了领域理论及技术的更新迭代,逐渐形成一种良性循环的过程。

情感计算专家迁徙图

中国与其他国家在情感计算领域的合作情况可以根据AMiner数据平台分析得到,通过统计论文中作者的单位信息,将作者映射到各个国家中,进而统计中国与各国之间合作论文的数量,并按照合作论文发表数量从高到低进行了排序:

情感计算领域中国与各国合作论文情况

从上表数据可以看出,中美合作的论文数、引用数、学者数遥遥领先,表明中美间在情感计算领域合作之密切;从地域角度看,中国与欧洲的合作非常广泛,前10名合作关系里中欧合作共占5席;中国与瑞士合作的论文数虽然不是最多,但是拥有最高的平均引用数说明在合作质量上中瑞合作达到了较高的水平。

2、国内学者概况

情感计算国内学者分布

情感计算学者分布国内省份TOP10

三、情感计算应用

近年来,Picard领导的美国麻省理工学院多媒体实验室相继提出了近50种情感计算应用项目。例如,将情感计算应用于医疗康复,协助自闭症者,识别其情感变化,理解患者的行为;在教育中应用情感计算,实现对学习状态的采集及分析,指导教学内容的选择及教学进度进行;还可以将情感计算应用于生活中,计算机能够感知用户对音乐的喜好,根据对情感反应的理解判断,为用户提供更感兴趣的音乐播放等。

1、课堂教学

在过去三年里,有企业把面部识别技术应用到了第一线教学当中。在SensorStar实验室,他们用相机捕捉学生上课反应,并且输入到计算机里面,运用算法来确定学生注意力是否转移。通过面部识别软件EngageSense,计算机能够测量微笑、皱眉和声音来测定学生课堂参与度。孩子们的眼睛是专注于老师的吗?他们是在思考还是发呆?他们是微笑还是皱着眉头?或者他们只是觉得困惑?还是无聊?测量之后,老师将会收到一份反馈报告,基于面部分析,报告会告诉老师他们的学生学习兴趣何时最高、何时最低。这样,老师能够对自己的教学方案做出调整,满足更多学生的需求。此外,比尔和梅林达盖茨基金会资助了传感器手镯(sensorbracelets)的开发,这可以用来追踪学生的参与水平。腕部设备能够发送小电流,通过在神经系统响应刺激时测量电荷的细微变化便可以得知学生的课程兴奋程度。

2、机器学习定制学生课堂学习内容

北卡罗来纳州州立大学研究员开发了一种软件,通过摄像头捕捉和分析学生面部表情,以此改变在线课程。目前,大多数情感计算技术还仅仅停留在学术研究领域。但也已经有公司开始应用这项技术,并能成功地分辨学生表情,并根据他们的学习能力和方式,来自动调整适合的学习内容和环境。英特尔公司正是这其中的一员。有了这些学生表情数据,可以让“Emoshape”这样的情感计算智能系统,自动分析情感,并做出适当回复。这些系统具备了解决个体问题的能力,也使老师能够提供高度个性化的内容来激发学生的学习兴趣。

人工智能和大数据已经促成了大部分行业的技术革新,从电子商务到交通、金融、医疗。人工智能和大数据已经在教育方面取得进展。尽管有些反对的声音,比如说如何保护学生隐私、如何提高教学效率等,但需要指出的是,这些技术的应用并不是要代替老师,而是扮演辅助老师的角色,识别学生的个体需求,以制定更加智能的教学方案。

3、情绪监测

现有的情绪监控方法大多依赖于视听设备或者是安装在人身上的感应器,这两种技术都有缺点:面部表情并不一定符合内心状态,而安装在身上的感应器(比如胸带和心电监护仪)会造成各种不便,而且一旦它们的位置稍微移动,监测到的数据就不精确了。

EQ-Radio会发送能监测生理信息的无线信号,该信号最终会反馈给设备本身。其中的算法可以分析心跳之间的微小变化,从而判断人们的情绪。消极情绪会被判定为“忧伤”,而正面且高涨的情绪会被判定为“激动”。尽管这样的测量会因人而异,但其中还是有内在统一性。通过了解人们处于不同的情绪状态下,他们的心跳会如何变化,我们就可以对他所处的情绪状态进行有效的判断。

EQ-Radio无线信号监测

3、医疗康复

NAO机器人

人类治疗师会向孩子展示一张照片或者闪存卡片,用来表示不同的情绪,以教会他们如何识别恐惧、悲伤或喜悦的表情。治疗师随后对机器人进行编程,向孩子们展示这些相同的情绪,并且在孩子与机器人交往时观察孩子。孩子们的行为提供了宝贵的反馈信息,机器人和治疗师可以根据反馈信息继续学习。

研究人员在这项研究中使用了SoftBankRoboticsNAO类人机器人。NAO将近2英尺高,类似于装甲超级英雄,通过改变眼睛的颜色、肢体的运动以及声音的音调来表达不同的情绪。参加这项研究的35名自闭症儿童中,有17人来自日本,18人来自塞尔维亚,年龄从3岁到13岁不等。他们在35分钟的会议中以各种方式对机器人做出反应,从看起来无聊和困倦,到在房间里兴奋地跳来跳去,拍手,大笑或触摸机器人。研究中的大多数孩子对机器人的看法是,它不仅仅是一个玩具,应该尊重NAO,因为它是一个真实的人。另外,人类用许多不同的方式改变自己的表情,但机器人则通过同样的方式来改变表情,这对孩子来说更加有利,因为孩子可以通过非常有条理的方式学习如何表达表情。

个性化的机器学习

麻省理工学院的研究小组意识到,具有深度学习能力的治疗机器人能够更好感知儿童的行为的。深度学习系统使用分层的多层数据处理来处理其任务,每一个连续的层都是对原始数据抽象的表示。

尽管自20世纪80年代以来深度学习的概念已经出现,但直到最近才有足够的计算能力来实现这种人工智能。深度学习已被用于自动语音和对象识别程序中,这种应用非常适合解决面部、身体和声音等多重特征的问题,从而更好地理解抽象的概念,如儿童的参与感。

对于治疗机器人,研究者构建了一个个性化框架,可以从收集的每个孩子的数据中学习。研究人员拍摄了每个孩子的脸部表情、头部和身体动作、姿势和手势,记录了儿童手腕上显示器的心率、体温和皮肤汗液反应作为数据。这些机器人的个性化深度学习网络是根据这些视频、音频和生理数据的层次,针对孩子的自闭症诊断和能力、文化和性别的信息构建的。研究人员将机器人对儿童行为的估计与五位人类专家的估计数字进行了比较,这些专家连续对孩子的录像和录音进行编码,以确定孩子在会议期间高兴或不安程度,是否感兴趣以及孩子的表现。比较发现,机器人对儿童行为的估计要比专家更加具体清晰。

4、舆情监控

意见领袖的发现和识别重点在于评价指标的制定以及模型的构建。例如,曹玖新等将网络社区用户看作一个个节点,根据节点之间信息的交互和传播过滤,从用户结构、行为和情感三个特征维度挖掘意见领袖。

四、趋势

1、论文研究发展趋势

下图是当前情感计算领域的热点技术趋势分析,通过Trendanalysis分析挖掘可以发现当前该领域的热点研究话题Top10是AffectiveComputing、SocialRobot、EmotionRecognition、HumanComputerInteraction、FeatureExtraction、SupportVectorMachine、FacialExpression、HumanRobotInteraction、BehaviouralSciencesComputing、FaceRecognition。

情感计算发展趋势

2、情感计算技术预见

情感计算技术预见图

情感计算预测热词图

上图中我们可以看出,情感计算领域预测前沿度比较高的前四热词有:autismspectrumdisorder(前沿度为1428)、supportvectormachine(前沿度为1096)、deeplearning(前沿度为1058)和semanticweb(前沿度为1031)。

小结:

如果说目前的传统计算机(包括应用现有智能计算方法的计算机)只包含了反映理性思维(Thinking)的“脑(Brain)”,那么,情感计算将为该机器增添了具有感性思维(Feeling)的“心(Heart)”(这是应用文学方式对机器进行拟人化比喻。

按认知科学讲,感性思维仍源于脑活动)。可以认为,情感计算是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了情感智能,从深度上讲情感智能在人类智能思维与反应中体现了一种更高层次的智能。情感计算必将为计算机的未来应用展现一种全新的方向。同时,由此引发出来的理论与应用问题会是层出不穷。

———————————————————————————————

THE END
1.管理知识课:什么是网络状的组织架构?管理知识课:什么是网络状的组织架构?陆课堂 湖南 1 打开网易新闻 体验效果更佳工业切纸机虽然力量很大,但高度是有限的 全球不知道 485跟贴 打开APP 大姐晒自己工作过程,手法惹得网友爆笑,可千万别让老板看到! 搞笑老狗子 749跟贴 打开APP 全厂没有一个电工会接这种高压电缆,老板拿出5000块,请外援来接 一点https://m.163.com/v/video/VCI7FC95M.html
2.走进工业级图神经网络框架GraphLearn走进工业级图神经网络框架GraphLearn 简介:阿里巴巴高级技术专家赵昆在阿里云开发者社区特别栏目《周二开源日》直播中,分享走进深度学习的又一颗明珠:图神经网络,并向大家介绍阿里巴巴自研的图神经网络框架GraphLearn。本文为直播内容文字整理,看直播回放,请点击文首链接~https://developer.aliyun.com/article/778069
3.计算机网络知识架构图计算机网络的知识框架计算机网络知识架构图 计算机网络的知识框架 一、计算机网络概述 1.1 计算机网络的分类 按照网络的作用范围:广域网(WAN)、城域网(MAN)、局域网(LAN); 按照网络使用者:公用网络、专用网络。 1.2 计算机网络的层次结构 TCP/IP四层模型与OSI体系结构对比:https://blog.51cto.com/u_16099317/9644213
4.Python卷积神经网络图片分类框架详解分析python【人工智能项目】卷积神经网络图片分类框架本次硬核分享当时做图片分类的工作,主要是整理了一个图片分类的框架,如果想换模型,引入新模型,在config中修改即可。那么走起来瓷!!!整体结构config在config文件夹下的config.py中主要定义数据集的位置,训练轮数,batch_size以及本次选用的模型。https://www.jb51.net/article/227469.htm
5.10行代码搞定图Transformer,图神经网络框架DGL迎来1.0版本2019 年,纽约大学、亚马逊云科技联手推出图神经网络框架 DGL (Deep Graph Library)。如今 DGL 1.0 正式发布!DGL 1.0 总结了过去三年学术界或工业界对图深度学习和图神经网络(GNN)技术的各类需求。从最先进模型的学术研究到将 GNN 扩展到工业级应用,DGL 1.0 为所有用户提供全面且易用的解决方案,以更好的利用图机https://www.thepaper.cn/newsDetail_forward_22203105
6.时空图卷积神经网络(STGCN):一个用于交通预测的神经网络框架),该框架利用从导航数据中推演出的计划中交通流量提升模型效果。在真实场景数据集上进行的实验证实H-STGCN和对标的模型相比取得了更优的效果,在突发拥堵的预测上优势尤为明显。 混合时空图卷积网络提供了 matrix),在距离衰减的基础上进一步引入了路段通行时间的协方差。 图 3 相邻道路间拥堵不一定会传播 本文提https://www.pianshen.com/article/97731794913/
7.算力网络,是一张什么样的“网”?电子创新网Imgtec社区算力网络有多厉害? 2021年国内运营商推动国际电信联盟电信标准化部门(ITU-T)发布了算力网络的框架结构标准。 算力网络框架结构示意图 来源:ITU-T Y.2501标准 算力网络可分为四层: 算网资源层,提供“云、管、边、端”多层次的泛在分布式计算资源和网络资源,满足算力需求; https://imgtec.eetrend.com/blog/2022/100559859.html
8.科学网—面向活动的网络媒体监测与建模分析:IVFC案例解析数据处理层对数据感知获取层采集的各类网络媒体数据进行预处理,包括数据清洗、数据变换、文本分词、命名实体识别、特征抽取与数据标注等,为数据挖掘解析与建模分析提供统一融合的特定格式数据与细粒度数据属性。 图1 图1活动网络媒体数字化监测与建模分析整体框架 https://blog.sciencenet.cn/blog-951291-1227379.html
9.scGNN,一种新型的用于单细胞RNA测序分析的图神经网络框架本文提出了scGNN (单细胞图神经网络),为scRNA-seq分析提供了一个无假设的深度学习框架。这个框架用图神经网络来表达和聚集细胞间的关系,并使用左截断的混合高斯模型来建模异质基因表达模式。scGNN集成了三种迭代多模态自动编码器,其在四个scRNA-seq基准数据集上的基因插补和细胞聚类性能优于现有工具。在一项阿尔茨海默https://cloud.tencent.com/developer/article/1825257
10.25张架构图把数据治理核心内容说清楚了(6)技术支撑是保障数据治理框架职能活动有效执行及配合组织管理机制正常运转的工具基础,它需要提供技术先进、功能完善、运行高效和安全可靠的支撑能力。技术支撑保障体系包括了平台工具和技术创新两方面内容。 3)工业企业数据治理“车轮图” (1)结合DCMM及行业标杆企业的最佳实践经验,形成了具有行业特色的工业企业数据治理http://www.360doc.com/content/24/0113/22/15545909_1110976493.shtml
11.教学平台功能图4 系统网络支撑框架示意图 对服务器进行了内存和万兆网卡升级,并部署了数据中心交换机Cisco Nexus 7018。目前数据中心已经部署了16台54 CPU虚拟化服务器群,所有物理服务器采用双10GbE网卡、双4Gb FC HBA上联,物理服务器群保持了合理的负载,为虚拟仿真实验平台的搭建提供了坚实的硬件基础。 http://saelab.dlut.edu.cn/zxgk/jxptgn.htm
12.人工智能贝叶斯网络概率图模型全局语义因果链朴素Graphical models (概率图模型) 什么是图模型(Graphical Models) 图是什么 计算机科学中的图模型: 为什么图模型有用? 图模型:统一框架 图模型在机器学习中的作用: 图的方向性: 贝叶斯网络 举例说明: 举例说明: Compactness(紧致性) 全局语义 局部语义 https://download.csdn.net/blog/column/12187083/131547466
13.游戏网络框架设计流程图模板Byte是在程序之中的最低存储单位,那么为了实现刚开始提出的将PlayerInfo对象传输给后端,那么现在得出了两种方式,将PlayerInfo对象转成byte数组,再将byte数组通过Socket传输给服务器端,具体怎样传输不用太过关心,现在只需要关系的是,在客户端PlayerInfo对象转byte数组之后经过网络传输,最终服务器以流或者数据报的方式收到https://www.processon.com/view/65690b000f3f01433299fa52
14.基于飞桨复现图像分类模型TNT,实现肺炎CT分类TNT网络结构复现过程 本段将对TNT网络结构中比较关键的几个组件做一下介绍,包括关键的代码展示和一些代码注释说明。整体网络框架如下图: PatchEmbed将图像 在visual words级进行编码嵌入 这部分作为TNT模型的输入,在内层Transformer产生一定数量的visual words序列。函数输入的参数有图像大小img_size, 行列的patch大小patchhttps://www.paddlepaddle.org.cn/support/news?action=detail&id=2664
15.图神经网络在医学影像中的应用机器之心最上面一行是 ground truth,就是想检测一些病理模式。主要思想是想通过 patch-based 的分析方法加 GNN得到相似的检测。网络框架如下图: 先将图像的小 patch 的特征输入到预训练好的 CNN 模型中,得到每个 patch 的向量表示。得到patch 的向量表征之后有两个设置,一个是弱监督设置,一个是半监督设置。 https://www.jiqizhixin.com/articles/2019-12-30-3
16.AndroidSoftAP实现框架功能模块与框架图 设备启动与管理 网络共享功能的实现 SoftAP 运行时序图 SoftAP 简介 无线AP(AP,Access Point,无线访问节点、会话点或存取桥接器)是一个包含很广的名称,它不仅包含单纯性无线接入点(无线AP),也同样是无线路由器(含无线网关、无线网桥)等类设备的统称。 https://www.jianshu.com/p/39cfe69824bd