【刊载信息】李振华，张昭理，刘海.2020.基于模型集成的在线学习投入评测方法研究[J].中国远程教育（10）：9-16.
【关键词】在线学习；学习投入；自动化评价；视频图片；鼠标流数据；卷积神经网络；BP神经网络；模型集成
一、
引言
二、
界定学习投入概念的结构是开展评测分析的重要前提和基础。学习投入被普遍认为是一个多维度的元构念，但学术界对于学习投入的维度构成并未达成一致认识，从二维度到四维度均有支持者。但是Fredricks等人（Fredricks,Blumenfeld,&Paris,2004）提出的“行为、认知、情感”三维度说获得了较多的支持和认可。
学习投入的评测研究是在明确了概念维度的基础上针对某一个或几个维度，运用特定的方法和技术手段来开展的。常用的评测方法包括：①自我报告法(Shernoff,Csikszentmihalyi,Shneider,&Shernoff,2003)；②经验抽样法(Fredricks&McColskey,2012）；③教师打分法（Wigfield,etal.,2008)；④访谈法；⑤观察法(Greenwood,Horton,&Utley,2002)。
从技术发展的视角来看，学习投入评测的发展过程大致呈现出从人工收集数据进行分析到借助信息系统自动收集数据进行分析，从粗粒度分析到细粒度分析，从定性分析到定量分析的发展轨迹。评测效率和精度的提升在很大程度上得益于信息技术的采用或技术本身的更新、升级。随着物联网、大数据和人工智能技术的兴起，各种新技术正尝试寻找与在线学习评测领域的最佳结合点，助推学习投入评测向自动化、智能化、精细化方向发展。
三、
基于模型集成的学习投入评测
（一）实验设计的研究基础
由于人类的情感主要通过面部表情进行表达，采用计算机视觉技术对摄像头采集的人脸表情数据进行分析可以了解学习者在线学习过程中的情感投入状况。除此以外，也有研究发现学习者的头部和身体姿态与情感和认知投入之间存在确切的联系，并通过实验证实了头部或身体姿态用于情感和认知投入分析的可行性(Ballenghein&Baccino,2019;D’Mello&Graesser,2009)。
（二）实验流程
实验分为四个主要部分：数据收集、数据标注、模型训练和模型检验。
1.数据收集
由于需要采集学习过程中的摄像头数据和鼠标数据，本研究主要针对学习者面对桌面电脑进行“一对一”自主学习的学习情景。所谓“一对一”是指一个学习者面对一台学习终端（台式电脑或笔记本电脑）进行学习的情况。其中，摄像头固定于显示屏上沿用来采集学习者的正面表情，鼠标则记录学习者对学习页面的控制情况，实验中的学习页面主要由图片、文字、动态图和视频构成，以垂直滚动的方式进行浏览。整个实验示意图见图1。
图1学习者在线学习示意图
2.数据标注
采集到的视频流数据需要处理为离散的图片数据并进行投入水平的标注以方便进行评测模型的训练。标注人员对图片数据进行标注，为所有离散图片中学习者的投入状态水平进行打分，投入水平值为1、2、3，分别对应“不投入”“一般性投入”“非常投入”三种投入状态。
3.模型训练
构造多模态数据评测模型，对图像数据和鼠标移动数据进行综合评测得到最终的学生学习投入水平。因为标记图片数据规模依然偏小，因此通过增加噪声、反转、旋转、尺度变换等操作扩充数据并构建训练数据集。在模型训练阶段，将数据集划分为训练集和测试集并对模型进行训练。训练过程中采用10折交叉验证的方式进行模型选择。
4.模型检验
（三）实验组织
（四）图片数据的标注方法
图2某学习者不同学习投入水平的跳转示意图
该方案的优点在于：①单张图片便于进行人工识别，处理上相对简单；②在统一的评判标准下，图片中学生的投入水平容易确定且发生模棱两可的情况较少。对此，我们基于Whitehill等人（2014）提出的标注方法拟定了一个指导性的学习投入度评判标准。标注人员根据标准分别从图片中学习者的头部姿态、视线位置、表情状态和鼠标轨迹对图片进行投入水平的评判。三种投入水平的参考标准为：
“非常投入”主要表现为学习者头部姿态是正位或者前倾，视线点位置落在屏幕区域内，表情以中性表情为主，并且主要呈现出聚精会神的状态，鼠标在整个学习页面中位置变化的幅度较小；
“一般性投入”主要表现为学习者头部基本处于正位或存在轻微偏斜，视线点位置在屏幕区域内，表情以自然表情为主，精力集中的程度较“非常投入”的状态要轻，鼠标位置变化的幅度较大；
“不投入”主要表现为头部姿态不正，无法看到正脸，视线不在屏幕上或呈现闭眼的状态，表情方面主要表现为漫不经心、无聊、沮丧等，鼠标移动的幅度变化一般处于静止和剧烈变化两个极端。
该标准对于标注员来说并不是硬性的，在实际标注过程中很多情况下依然需要标注员借助自身经验进行灵活判断。因此，图片标注的准确性受标注人员自身专业素质、图片可辨析程度等因素影响，不同标注人员针对同一图像的标注结果可能会有不一致的情况发生。我们通过Kendall系数来检验不同标注人员的标注结果一致性，以保证标注图像具有较高的一致性。所有表情图片的训练数据分为10个批次进行标注，每个批次图像均分给8个标注员完成，并确保标注数据满足一致性要求。最终，我们通过SPSS计算出所有标注员标注结果的Kendall系数，如表1所示。
表1标注员标注结果的Kendall一致性检验
（五）鼠标移动数据的获取
（六）数据集的划分
图3数据集的划分方法
（七）集成模型的构建
针对本研究的数据特点，我们构建了一个融合卷积神经网络和BP神经网络的集成评测模型，整个模型集成了三个子模型，其中两个卷积神经网络子模型用于对学习者的表情图片进行识别，一个BP神经网络子模型用于对学习者的鼠标移动数据进行识别，整个模型如图4所示。
图4集成评测模型
式中j表示3个学习投入水平。xl表示训练样本，Ek表示第k个分类器，ωk是第k个分类器的权重值。不同分类器的权重值的计算采用投票的方式进行：
式中K代表分类器总个数，RK代表第k个分类器的识别率。三个子模型的训练准确性曲线如图5所示。
图5三个子模型的准确性曲线
（八）集成模型的检验
集成模型的检验是在三个子模型完成训练之后将三个模型利用投票的方法进行集成，并利用测试集数据对集成模型进行测试。最终，集成模型和子模型的对比结果如表2所示。
表2三个子模型与集成模型对比情况
可以看出，经过集成后模型对测试数据的准确率有一定的提升，这也说明通过将多个模型进行集成来提高评测准确率的方法是有效的。
表3集成评测模型与NSSE-China评测结果的对比
四、
结果讨论
从本研究的结果可以明显看出：
五、
小结与展望
参考文献
向上滑动阅览
陈肖庚，王顶明.2013.MOOC的发展历程与主要特征分析[J].现代教育技术，23（11）：5-10.
吉训生，王荣飞.2017.自适应加权LGCP与快速稀疏表示的面部表情识别[J].计算机工程与应用，53（1）：158-162.
蒋卓轩，张岩，李晓明.2015.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展，52（3）：614-628.
李爽，王增贤，喻忱，等.2016.在线学习行为投入分析框架与测量指标研究——基于LMS数据的学习分析[J].开放教育研究，22（2）：77-88.
李爽，钟瑶，喻忱，等.2017.基于行为序列分析对在线学习参与模式的探索[J].中国电化教育（3）：88-95.
李爽，李荣芹，喻忱.2018.基于LMS数据的远程学习者学习投入评测模型[J].开放教育研究，24（1）：91-102.
刘海，陈莹莹，张昭理，等.2018.多学科资源工具研制与教学实践创新研究[J].电化教育研究，39（4）：46-51.
刘海，李姣姣，张维，等.2018.面向在线教学平台的数据可视化方法及应用[J].中国远程教育（1）：37-44.
罗燕，海蒂·罗斯，岑逾豪.2009.国际比较视野中的高等教育测量——NSSE-China工具的开发：文化适应与信度、效度报告[J].复旦教育论坛，7（5）：12-18.
沈超，蔡忠闽，管晓宏，等.2010.基于鼠标行为特征的用户身份认证与监控[J].通信学报，31（7）：68-75.
张昭理，李阳，刘海.2018.多屏多点触控教学系统支撑下教学创新与变革[J].电化教育研究，39（3）：82-89.
赵晶，陈巍，曹亮.2007.当代眼动研究对阅读心理学介入综述[J].浙江教育学院学报（1）：25-30.
Agrawal,A.,&Mittal,N.(2020).UsingCNNforfacialexpressionrecognition:Astudyoftheeffectsofkernelsizeandnumberoffiltersonaccuracy.TheVisualComputer,36(2),405-412.
Ballenghein,U.,&Baccino,T.(2019).Referentialprocessingduringreading:Concurrentrecordingsofeyemovementsandheadmotion.CognitiveProcessing,20(3),371-384.
Booth,B.M.,Ali,A.M.,Narayanan,S.S.,Bennett,I.,&Farag,A.A.(2017).Towardactiveandunobtrusiveengagementassessmentofdistancelearners.In2017SeventhInternationalConferenceonAffectiveComputingandIntelligentInteraction(ACII)(pp.470-476).
Chaouachi,M.,Chalfoun,P.,Jraidi,I.,&Frasson,C.(2010).AffectandMentalEngagement:TowardsAdaptabilityforIntelligent.InFLAIRSConference.
Chen,M.C.,Anderson,J.R.,&Sohn,M.H.(2001).WhatcanamousecursortellusmoreInJ.A.Jacko,A.Sears,&J.Arnowitz(Eds.),CHI2001:Anyone,anywhere:CHI2001extendedabstracts,conferenceonhumanfactorsincomputingsystems(p.281).NewYork,NY:AssociationforComputingMachinery.
D’Mello,S.(2013).Aselectivemeta-analysisontherelativeincidenceofdiscreteaffectivestatesduringlearningwithtechnology.Journalofeducationalpsychology,105(4),1082-1099.
D’Mello,S.,&Graesser,A.(2009).AutomaticDetectionOfLearner’sAffectFromGrossBodyLanguage.AppliedArtificialIntelligence,23(2),123-150.
Fredricks,J.A.,Blumenfeld,P.C.,&Paris,A.H.(2004).SchoolEngagement:PotentialoftheConcept,StateoftheEvidence.ReviewofEducationalResearch,74(1),59-109.
Fredricks,J.A.,&McColskey,W.(2012).TheMeasurementofStudentEngagement:AComparativeAnalysisofVariousMethodsandStudentSelf-reportInstruments.InS.Christenson,A.L.Reschly,&C.Wylie(Eds.),Handbookofresearchonstudentengagement(pp.763-782).NewYork:Springer.
Goldberg,B.S.,Sottilare,R.A.,Brawner,K.W.,&Holden,H.K.(2011).PredictingLearnerEngagementduringWell-DefinedandIll-DefinedComputer-BasedInterculturalInteractions.InS.D’Mello,A.Graesser,B.Schuller,&J.-C.Martin(Eds.),AffectiveComputingandIntelligentInteraction(pp.538-547).Berlin,Heidelberg:SpringerBerlinHeidelberg.
Greenwood,C.R.,Horton,B.T.,&Utley,C.A.(2002).Academicengagement:Currentperspectivesinresearchandpractice.SchoolPsychologyReview,31(3),328-349.
Hamane,A.C.(2014).Studentengagementinanonlinecourseanditsimpactonstudentsuccess(Doctoraldissertation).RetrievedfromPepperdineUniversity.(2014.3615910).
Huang,J.,White,R.W.,Buscher,G.(2012).UserSee,UserPoint:GazeandCursorAlignmentinWebSearch.Proceedingsofthe2012ACMannualconferenceonhumanfactorsincomputingsystems(pp.1341-1350).NewYork,NY:ACM.
Kuh,G.D.(2001).TheNationalSurveyofStudentEngagement:Conceptualframeworkandoverviewofpsychometricproperties.Bloomington,IN:IndianaUniversityCenterforPostsecondaryResearch,126.
Kuh,G.D.(2009).Thenationalsurveyofstudentengagement:Conceptualandempiricalfoundations.NewDirectionsforInstitutionalResearch,2009(141),5-20.
Lagun,D.,Agichtein,E.(2011).ViewSer:enablinglarge-scaleremoteuserstudiesofwebsearchexaminationandinteraction.InW.-Y.Ma(Ed.):ACMDigitalLibrary,Proceedingsofthe34thinternationalACMSIGIRconferenceonResearchanddevelopmentinInformationRetrieval(p.365).NewYork,NY:ACM.
Liebling,D.J.,Dumais,S.T.(2014).Gazeandmousecoordinationineverydaywork.InA.J.Brush,A.Friday,J.Kientz,J.Scott,&J.Song(Eds.),UbiComp’14adjunct:Proceedingsofthe2014ACMInternationalJointConferenceonPervasiveandUbiquitousComputing:September13-17,2014,Seattle,WA,USA(pp.1141-1150).NewYork:AssociationforComputingMachinery.
Miller,B.W.(2015).UsingReadingTimesandEye-MovementstoMeasureCognitiveEngagement.EducationalPsychologist,50(1),31-42.
Navalpakkam,V.,Jentzsch,L.,Sayres,R.,Ravi,S.,Ahmed,A.,&Smola,A.(Eds.)(2013).MeasurementandModelingofEye-mouseBehaviorinthePresenceofNonlinearPageLayouts:Proceedingsofthe22ndinternationalconferenceonWorldWideWeb.
Nystrand,M.,Gamoran,A.(1991).Instructionaldiscourse,studentengagement,andliteratureachievement.ResearchintheTeachingofEnglish,261-290.
Rodden,K.,&Fu,X.(2007).Exploringhowmousemovementsrelatetoeyemovementsonwebsearchresultspages.ProceedingsofACMSIGIR2007,29-32.
Shernoff,D.J.,Csikszentmihalyi,M.,Shneider,B.,Shernoff,E.S.(2003).Studentengagementinhighschoolclassroomsfromtheperspectiveofflowtheory.SchoolPsychologyQuarterly,18(2),158-176.
Sundar,P.,Kumar,A.S.(2016).Disengagementdetectioninonlinelearningusinglogfileanalysis.Internationaljournalofcomputertechnologyandapplications,9(27),195-301.
Whitehill,J.,Serpell,Z.,Lin,Y.-C.,Foster,A.,&Movellan,J.R.(2014).TheFacesofEngagement:AutomaticRecognitionofStudentEngagementfromFacialExpressions.IEEETransactionsonAffectiveComputing,5(1),86-98.
Wigfield,A.,Guthrie,J.T.,Perencevich,K.C.,Taboada,A.,Klauda,S.L.,McRae,A.,etal.(2008).Roleofreadingengagementinmediatingeffectsofreadingcomprehensioninstructiononreadingoutcomes.PsychologyintheSchools,45(5),432-445.
Yamauchi,T.,&Xiao,K.(2018).ReadingEmotionFromMouseCursorMotions:AffectiveComputingApproach.CognitiveScience,42(3),771-819.
作者简介
李振华，博士研究生，高级实验师；张昭理，博士，教授，博士生导师；刘海，博士，副教授，硕士生导师，本文通讯作者。华中师范大学国家数字化学习工程技术研究中心（430079）。
基金项目：本文受国家重点研发计划课题“数据驱动的数字教育个性化服务支撑技术研究”（项目编号：2017YFB1401303）和西华师范大学英才科研基金“基于面部表情识别的在线学习情感投入检测”（项目编号：17YC496）资助。