基于模型集成的在线学习投入评测方法研究神经网络实验分类器

【刊载信息】李振华,张昭理,刘海.2020.基于模型集成的在线学习投入评测方法研究[J].中国远程教育(10):9-16.

【关键词】在线学习;学习投入;自动化评价;视频图片;鼠标流数据;卷积神经网络;BP神经网络;模型集成

一、

引言

二、

界定学习投入概念的结构是开展评测分析的重要前提和基础。学习投入被普遍认为是一个多维度的元构念,但学术界对于学习投入的维度构成并未达成一致认识,从二维度到四维度均有支持者。但是Fredricks等人(Fredricks,Blumenfeld,&Paris,2004)提出的“行为、认知、情感”三维度说获得了较多的支持和认可。

学习投入的评测研究是在明确了概念维度的基础上针对某一个或几个维度,运用特定的方法和技术手段来开展的。常用的评测方法包括:①自我报告法(Shernoff,Csikszentmihalyi,Shneider,&Shernoff,2003);②经验抽样法(Fredricks&McColskey,2012);③教师打分法(Wigfield,etal.,2008);④访谈法;⑤观察法(Greenwood,Horton,&Utley,2002)。

从技术发展的视角来看,学习投入评测的发展过程大致呈现出从人工收集数据进行分析到借助信息系统自动收集数据进行分析,从粗粒度分析到细粒度分析,从定性分析到定量分析的发展轨迹。评测效率和精度的提升在很大程度上得益于信息技术的采用或技术本身的更新、升级。随着物联网、大数据和人工智能技术的兴起,各种新技术正尝试寻找与在线学习评测领域的最佳结合点,助推学习投入评测向自动化、智能化、精细化方向发展。

三、

基于模型集成的学习投入评测

(一)实验设计的研究基础

由于人类的情感主要通过面部表情进行表达,采用计算机视觉技术对摄像头采集的人脸表情数据进行分析可以了解学习者在线学习过程中的情感投入状况。除此以外,也有研究发现学习者的头部和身体姿态与情感和认知投入之间存在确切的联系,并通过实验证实了头部或身体姿态用于情感和认知投入分析的可行性(Ballenghein&Baccino,2019;D’Mello&Graesser,2009)。

(二)实验流程

实验分为四个主要部分:数据收集、数据标注、模型训练和模型检验。

1.数据收集

由于需要采集学习过程中的摄像头数据和鼠标数据,本研究主要针对学习者面对桌面电脑进行“一对一”自主学习的学习情景。所谓“一对一”是指一个学习者面对一台学习终端(台式电脑或笔记本电脑)进行学习的情况。其中,摄像头固定于显示屏上沿用来采集学习者的正面表情,鼠标则记录学习者对学习页面的控制情况,实验中的学习页面主要由图片、文字、动态图和视频构成,以垂直滚动的方式进行浏览。整个实验示意图见图1。

图1学习者在线学习示意图

2.数据标注

采集到的视频流数据需要处理为离散的图片数据并进行投入水平的标注以方便进行评测模型的训练。标注人员对图片数据进行标注,为所有离散图片中学习者的投入状态水平进行打分,投入水平值为1、2、3,分别对应“不投入”“一般性投入”“非常投入”三种投入状态。

3.模型训练

构造多模态数据评测模型,对图像数据和鼠标移动数据进行综合评测得到最终的学生学习投入水平。因为标记图片数据规模依然偏小,因此通过增加噪声、反转、旋转、尺度变换等操作扩充数据并构建训练数据集。在模型训练阶段,将数据集划分为训练集和测试集并对模型进行训练。训练过程中采用10折交叉验证的方式进行模型选择。

4.模型检验

(三)实验组织

(四)图片数据的标注方法

图2某学习者不同学习投入水平的跳转示意图

该方案的优点在于:①单张图片便于进行人工识别,处理上相对简单;②在统一的评判标准下,图片中学生的投入水平容易确定且发生模棱两可的情况较少。对此,我们基于Whitehill等人(2014)提出的标注方法拟定了一个指导性的学习投入度评判标准。标注人员根据标准分别从图片中学习者的头部姿态、视线位置、表情状态和鼠标轨迹对图片进行投入水平的评判。三种投入水平的参考标准为:

“非常投入”主要表现为学习者头部姿态是正位或者前倾,视线点位置落在屏幕区域内,表情以中性表情为主,并且主要呈现出聚精会神的状态,鼠标在整个学习页面中位置变化的幅度较小;

“一般性投入”主要表现为学习者头部基本处于正位或存在轻微偏斜,视线点位置在屏幕区域内,表情以自然表情为主,精力集中的程度较“非常投入”的状态要轻,鼠标位置变化的幅度较大;

“不投入”主要表现为头部姿态不正,无法看到正脸,视线不在屏幕上或呈现闭眼的状态,表情方面主要表现为漫不经心、无聊、沮丧等,鼠标移动的幅度变化一般处于静止和剧烈变化两个极端。

该标准对于标注员来说并不是硬性的,在实际标注过程中很多情况下依然需要标注员借助自身经验进行灵活判断。因此,图片标注的准确性受标注人员自身专业素质、图片可辨析程度等因素影响,不同标注人员针对同一图像的标注结果可能会有不一致的情况发生。我们通过Kendall系数来检验不同标注人员的标注结果一致性,以保证标注图像具有较高的一致性。所有表情图片的训练数据分为10个批次进行标注,每个批次图像均分给8个标注员完成,并确保标注数据满足一致性要求。最终,我们通过SPSS计算出所有标注员标注结果的Kendall系数,如表1所示。

表1标注员标注结果的Kendall一致性检验

(五)鼠标移动数据的获取

(六)数据集的划分

图3数据集的划分方法

(七)集成模型的构建

针对本研究的数据特点,我们构建了一个融合卷积神经网络和BP神经网络的集成评测模型,整个模型集成了三个子模型,其中两个卷积神经网络子模型用于对学习者的表情图片进行识别,一个BP神经网络子模型用于对学习者的鼠标移动数据进行识别,整个模型如图4所示。

图4集成评测模型

式中j表示3个学习投入水平。xl表示训练样本,Ek表示第k个分类器,ωk是第k个分类器的权重值。不同分类器的权重值的计算采用投票的方式进行:

式中K代表分类器总个数,RK代表第k个分类器的识别率。三个子模型的训练准确性曲线如图5所示。

图5三个子模型的准确性曲线

(八)集成模型的检验

集成模型的检验是在三个子模型完成训练之后将三个模型利用投票的方法进行集成,并利用测试集数据对集成模型进行测试。最终,集成模型和子模型的对比结果如表2所示。

表2三个子模型与集成模型对比情况

可以看出,经过集成后模型对测试数据的准确率有一定的提升,这也说明通过将多个模型进行集成来提高评测准确率的方法是有效的。

表3集成评测模型与NSSE-China评测结果的对比

四、

结果讨论

从本研究的结果可以明显看出:

五、

小结与展望

参考文献

向上滑动阅览

陈肖庚,王顶明.2013.MOOC的发展历程与主要特征分析[J].现代教育技术,23(11):5-10.

吉训生,王荣飞.2017.自适应加权LGCP与快速稀疏表示的面部表情识别[J].计算机工程与应用,53(1):158-162.

蒋卓轩,张岩,李晓明.2015.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展,52(3):614-628.

李爽,王增贤,喻忱,等.2016.在线学习行为投入分析框架与测量指标研究——基于LMS数据的学习分析[J].开放教育研究,22(2):77-88.

李爽,钟瑶,喻忱,等.2017.基于行为序列分析对在线学习参与模式的探索[J].中国电化教育(3):88-95.

李爽,李荣芹,喻忱.2018.基于LMS数据的远程学习者学习投入评测模型[J].开放教育研究,24(1):91-102.

刘海,陈莹莹,张昭理,等.2018.多学科资源工具研制与教学实践创新研究[J].电化教育研究,39(4):46-51.

刘海,李姣姣,张维,等.2018.面向在线教学平台的数据可视化方法及应用[J].中国远程教育(1):37-44.

罗燕,海蒂·罗斯,岑逾豪.2009.国际比较视野中的高等教育测量——NSSE-China工具的开发:文化适应与信度、效度报告[J].复旦教育论坛,7(5):12-18.

沈超,蔡忠闽,管晓宏,等.2010.基于鼠标行为特征的用户身份认证与监控[J].通信学报,31(7):68-75.

张昭理,李阳,刘海.2018.多屏多点触控教学系统支撑下教学创新与变革[J].电化教育研究,39(3):82-89.

赵晶,陈巍,曹亮.2007.当代眼动研究对阅读心理学介入综述[J].浙江教育学院学报(1):25-30.

Agrawal,A.,&Mittal,N.(2020).UsingCNNforfacialexpressionrecognition:Astudyoftheeffectsofkernelsizeandnumberoffiltersonaccuracy.TheVisualComputer,36(2),405-412.

Ballenghein,U.,&Baccino,T.(2019).Referentialprocessingduringreading:Concurrentrecordingsofeyemovementsandheadmotion.CognitiveProcessing,20(3),371-384.

Booth,B.M.,Ali,A.M.,Narayanan,S.S.,Bennett,I.,&Farag,A.A.(2017).Towardactiveandunobtrusiveengagementassessmentofdistancelearners.In2017SeventhInternationalConferenceonAffectiveComputingandIntelligentInteraction(ACII)(pp.470-476).

Chaouachi,M.,Chalfoun,P.,Jraidi,I.,&Frasson,C.(2010).AffectandMentalEngagement:TowardsAdaptabilityforIntelligent.InFLAIRSConference.

Chen,M.C.,Anderson,J.R.,&Sohn,M.H.(2001).WhatcanamousecursortellusmoreInJ.A.Jacko,A.Sears,&J.Arnowitz(Eds.),CHI2001:Anyone,anywhere:CHI2001extendedabstracts,conferenceonhumanfactorsincomputingsystems(p.281).NewYork,NY:AssociationforComputingMachinery.

D’Mello,S.(2013).Aselectivemeta-analysisontherelativeincidenceofdiscreteaffectivestatesduringlearningwithtechnology.Journalofeducationalpsychology,105(4),1082-1099.

D’Mello,S.,&Graesser,A.(2009).AutomaticDetectionOfLearner’sAffectFromGrossBodyLanguage.AppliedArtificialIntelligence,23(2),123-150.

Fredricks,J.A.,Blumenfeld,P.C.,&Paris,A.H.(2004).SchoolEngagement:PotentialoftheConcept,StateoftheEvidence.ReviewofEducationalResearch,74(1),59-109.

Fredricks,J.A.,&McColskey,W.(2012).TheMeasurementofStudentEngagement:AComparativeAnalysisofVariousMethodsandStudentSelf-reportInstruments.InS.Christenson,A.L.Reschly,&C.Wylie(Eds.),Handbookofresearchonstudentengagement(pp.763-782).NewYork:Springer.

Goldberg,B.S.,Sottilare,R.A.,Brawner,K.W.,&Holden,H.K.(2011).PredictingLearnerEngagementduringWell-DefinedandIll-DefinedComputer-BasedInterculturalInteractions.InS.D’Mello,A.Graesser,B.Schuller,&J.-C.Martin(Eds.),AffectiveComputingandIntelligentInteraction(pp.538-547).Berlin,Heidelberg:SpringerBerlinHeidelberg.

Greenwood,C.R.,Horton,B.T.,&Utley,C.A.(2002).Academicengagement:Currentperspectivesinresearchandpractice.SchoolPsychologyReview,31(3),328-349.

Hamane,A.C.(2014).Studentengagementinanonlinecourseanditsimpactonstudentsuccess(Doctoraldissertation).RetrievedfromPepperdineUniversity.(2014.3615910).

Huang,J.,White,R.W.,Buscher,G.(2012).UserSee,UserPoint:GazeandCursorAlignmentinWebSearch.Proceedingsofthe2012ACMannualconferenceonhumanfactorsincomputingsystems(pp.1341-1350).NewYork,NY:ACM.

Kuh,G.D.(2001).TheNationalSurveyofStudentEngagement:Conceptualframeworkandoverviewofpsychometricproperties.Bloomington,IN:IndianaUniversityCenterforPostsecondaryResearch,126.

Kuh,G.D.(2009).Thenationalsurveyofstudentengagement:Conceptualandempiricalfoundations.NewDirectionsforInstitutionalResearch,2009(141),5-20.

Lagun,D.,Agichtein,E.(2011).ViewSer:enablinglarge-scaleremoteuserstudiesofwebsearchexaminationandinteraction.InW.-Y.Ma(Ed.):ACMDigitalLibrary,Proceedingsofthe34thinternationalACMSIGIRconferenceonResearchanddevelopmentinInformationRetrieval(p.365).NewYork,NY:ACM.

Liebling,D.J.,Dumais,S.T.(2014).Gazeandmousecoordinationineverydaywork.InA.J.Brush,A.Friday,J.Kientz,J.Scott,&J.Song(Eds.),UbiComp’14adjunct:Proceedingsofthe2014ACMInternationalJointConferenceonPervasiveandUbiquitousComputing:September13-17,2014,Seattle,WA,USA(pp.1141-1150).NewYork:AssociationforComputingMachinery.

Miller,B.W.(2015).UsingReadingTimesandEye-MovementstoMeasureCognitiveEngagement.EducationalPsychologist,50(1),31-42.

Navalpakkam,V.,Jentzsch,L.,Sayres,R.,Ravi,S.,Ahmed,A.,&Smola,A.(Eds.)(2013).MeasurementandModelingofEye-mouseBehaviorinthePresenceofNonlinearPageLayouts:Proceedingsofthe22ndinternationalconferenceonWorldWideWeb.

Nystrand,M.,Gamoran,A.(1991).Instructionaldiscourse,studentengagement,andliteratureachievement.ResearchintheTeachingofEnglish,261-290.

Rodden,K.,&Fu,X.(2007).Exploringhowmousemovementsrelatetoeyemovementsonwebsearchresultspages.ProceedingsofACMSIGIR2007,29-32.

Shernoff,D.J.,Csikszentmihalyi,M.,Shneider,B.,Shernoff,E.S.(2003).Studentengagementinhighschoolclassroomsfromtheperspectiveofflowtheory.SchoolPsychologyQuarterly,18(2),158-176.

Sundar,P.,Kumar,A.S.(2016).Disengagementdetectioninonlinelearningusinglogfileanalysis.Internationaljournalofcomputertechnologyandapplications,9(27),195-301.

Whitehill,J.,Serpell,Z.,Lin,Y.-C.,Foster,A.,&Movellan,J.R.(2014).TheFacesofEngagement:AutomaticRecognitionofStudentEngagementfromFacialExpressions.IEEETransactionsonAffectiveComputing,5(1),86-98.

Wigfield,A.,Guthrie,J.T.,Perencevich,K.C.,Taboada,A.,Klauda,S.L.,McRae,A.,etal.(2008).Roleofreadingengagementinmediatingeffectsofreadingcomprehensioninstructiononreadingoutcomes.PsychologyintheSchools,45(5),432-445.

Yamauchi,T.,&Xiao,K.(2018).ReadingEmotionFromMouseCursorMotions:AffectiveComputingApproach.CognitiveScience,42(3),771-819.

作者简介

李振华,博士研究生,高级实验师;张昭理,博士,教授,博士生导师;刘海,博士,副教授,硕士生导师,本文通讯作者。华中师范大学国家数字化学习工程技术研究中心(430079)。

基金项目:本文受国家重点研发计划课题“数据驱动的数字教育个性化服务支撑技术研究”(项目编号:2017YFB1401303)和西华师范大学英才科研基金“基于面部表情识别的在线学习情感投入检测”(项目编号:17YC496)资助。

THE END
1.深入解析计算机神经网络:原理算法与应用神经网络计算机Frank Rosenblatt提出了感知器模型,这是第一种可以进行学习的神经网络。感知器能够通过调整权重,学习输入和输出之间的线性关系。 1986年:反向传播算法 David Rumelhart等人提出了反向传播算法(Backpropagation),这是神经网络训练中的一种重要算法,使得多层神经网络的训练成为可能。反向传播算法极大地推动了神经网络的发展。 https://blog.csdn.net/weixin_65409651/article/details/140822317
2.一文搞懂深度学习:神经网络基础部分腾讯云开发者社区4、基础神经网络 (1)单层感知机 (2)多层神经网络 5、总结 前言 本文将从神经网络定义、深度学习定义、深度学习历史、基础神经网络来简单介绍神经网络的基础部分。 1、神经网络定义 神经网络也称为人工神经网络(ANN)或模拟神经网络(SNN),是机器学习的子集,也是深度学习的算法支柱;被称为“神经”, 是因为它模仿大脑https://cloud.tencent.com/developer/article/2412654
3.什么是神经网络?神经网络的类型Cloudflare神经网络是人工智能 (AI) 模型的重要组成部分。它们基于模仿人脑神经元的结构工作。 学习中心 什么是人工智能 (AI)? 什么是机器学习? 什么是深度学习? 词汇 学习目标 阅读本文后,您将能够: 解释什么是神经网络 列出神经网络的类型 了解神经网络的工作原理 相关内容 什么是机器学习? 什么是深度学习? 什么是人工智能https://www.cloudflare-cn.com/learning/ai/what-is-neural-network/
4.在线网课学习课堂《神经网络理论及应用(北工商)》单元测试考核在线网课学习课堂《神经网络理论及应用(北工商)》单元测试考核答案.docx,注:不含主观题 第1题 判断题 (1分) 人工神经元是一个多输入、多输出的信息处理单元 第2题 判断题 (1分) 人工神经元数学模型决定该节点本身的信息处理能力 第3题 单选题 (1分) 人工神经网络的激活函数https://max.book118.com/html/2022/0429/8132040142004075.shtm
5.BrilliantBrilliant是一个在线学习平台,提供Introduction to Neural Networks课程介绍神经网络知识,让学生理解神经网络的基础知识,学习构建和调节神经网络,并应用神经网络解决实际问题。 Introduction to Neural Networks是Brilliant平台上的一门神经网络入门课程。这门课程面向初学者,介绍神经网络的基本概念、模型与算法。学习者可以在这https://www.aizhinan.cn/tools/2320.html
6.今我来思,堆栈泛化(StackedGeneralization)7. 其他, 在线学习, 神经网络,遗传学习, 群体智能 等: -在线学习 Online stacking (OS) Linear perceptron with online random tree Random bit regression (RBR) Vowpal Wabbit (VW) Follow the Regularized Leader (FTRL) -神经网络Artificial neural network (ANN) https://www.jianshu.com/p/46ccf40222d6
7.字节跳动破局联邦学习:开源Fedlearner框架,广告投放增效209%按照特征分布的不同,联邦学习的神经网络模型训练可以分为纵向(Cross-silo)和横向(Cross-device)两种模式。纵向模式下,每个参与方拥有相同样本的不同维度的特征,模型被分为两部分,类似模型并行训练。横向模式下,每个参与方拥有不同样本的相同维度的特征,每个参与方都有一份模型的拷贝,类似数据并行训练。 https://maimai.cn/article/detail?fid=1550604028&efid=zqj9rqK7Yf_Us-lu-0Wnmg
8.神经网络与深度学习特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,http://nndl.github.io/
9.工具Orange3:机器学习入门神器澎湃号·湃客澎湃新闻实操案例基于一个简单的mnist手写数字识别数据,搭建所需工作流。使用卷积神经网络学习器 设置卷积神经网络结构, 图片加载器加载训练和测试数据, 图片加载器 (1) 加载想要预测的图片, 模型训练与测试对模型训练并测试, 其结果可以通过散点图进行观察, 还可以在卷积神经网络预测进行预测。 https://www.thepaper.cn/newsDetail_forward_24193195?commTag=true
10.《深度学习进阶自然语言处理》([日]斋藤康毅)简介书评所属分类:图书>计算机/网络>人工智能>深度学习与神经网络 本商品暂无详情。 价格说明 当当价:为商品的销售价,具体的成交价可能因会员使用优惠券、银铃铛等发生变化,最终以订单结算页价格为准。 定价:是图书封底定价。 划线价:划线价为参考价,划线价格可能是图书封底定价或该商品曾经展示过的销售价等,由于地区、时间http://product.dangdang.com/29141034.html
11.深度学习(豆瓣)本书作者特伦斯·谢诺夫斯基是全球人工智能十大科学家之一、深度学习先驱及奠基者,亲历了深度学习在20世纪70年代到90年代的寒冬。但他和一众开拓者,利用大数据和不断增强的计算能力,终于在神经网络算法上取得重大突破,实现了人工智能井喷式的发展。 作为深度学习领域的通识作品,本书以恢弘的笔触,通过3个部分全景展现了深https://book.douban.com/subject/30425822/
12.深度学习概述深度学习是使用“深度”神经网络的机器学习技术的总称。 如今,深度学习是机器学习最引人注目的领域之一,因为它在计算机视觉、自然语言处理等领域以及(应用于强化学习时的)游戏、决策和模拟等场景中都取得了成功。 深度学习成功的关键因素是数据、计算、软件框架和运行时的可用性,它们有助于创建神经网络模型及其推理的执行https://learn.microsoft.com/zh-cn/dotnet/machine-learning/deep-learning-overview
13.8个学习AI的网站(免费自学人工智能必备)学吧导航DeepLearningAI网站也是由人工智能和机器学习领域的权威吴恩达教授创建的在线学习平台,该网站提供与深度学习相关的各种课程和资源,深度学习是机器学习的一个子领域,专注于人工神经网络和深度神经网络。课程设计为初学者和有经验的实践者都可以使用,分为入门、中级、高级三个层次,涵盖一系列与深度学习有关的主题,包括神经https://www.xue8nav.com/2090.html
14.GitHubcjnchen/awesome本项目是飞桨官方出品的一站式深度学习在线百科,飞桨致力于让深度学习技术的创新与应用更简单,更多飞桨内容欢迎访问飞桨官网。本项目内容涵盖: 课程类:零基础实践深度学习、产业实践深度学习、特色课程、飞桨套件课程汇总资料 书籍类:《动手学深度学习》飞桨版 https://github.com/cjn-chen/awesome-DeepLearning
15.人工智能深度学习(英语:deeplearning),是一个多层神经网络是一种机器学习方法。在深度学习出现之前,由于诸如局部最优解和梯度消失之类的技术问题,没有对具有四层或更多层的深度神经网络进行充分的训练,并且其性能也不佳。但是,近年来,Hinton等人通过研究多层神经网络,提高学习所需的计算机功能以及通过Web的开发促进培训数据的采购https://vibaike.com/5512/