(1.北京师范大学远程教育研究中心，北京100875;
2.中央民族大学现代教育技术部，北京100081)
[摘要]学习支持服务是影响在线教育质量的重要因素。教师作为学习支持服务的主要提供者，扮演着在线教育的重要角色。学习分析技术强调基于数据的学习描述、诊断、预测和干预，使得对学生学习过程的描绘成为可能，从而使我们可以通过对学生学习状态变化的衡量来判断和评价教师提供的学习支持服务的效果。本研究以教师的综合评价为目标。我们首先构建了教师综合评价的参考理论模型，包括促进度、投入度、联通度、认可度和调控度五个方面。其次，基于上述理论模型，我们实现了完整的算法构建。最后，我们在网络教育学院的实践中对该理论和算法模型进行了应用和验证。本研究为在线学习中对教师的综合测评提供了理论上的参考，为学习分析技术的实践应用提供了方法和思路上的借鉴。
[关键词]学习分析技术;教师综合评价参考模型;T-SERI;教师评价
与辅导教师越来越重要的地位并不相称的地方在于，对其工作的评价并没有得到应有的重视。当前在线教育机构对辅导教师的评价大多仍停留在简单的奖惩性评价，又或辅以学习者的主观满意度评价，对辅导教师的工作及其取得的效果缺乏客观合理的评价标准和方法。模糊的评价标准让辅导教师无所适从，不知如何去提升自己的教学质量和追求专业发展(尤其是在大量辅导教师是兼职工作的情况下);粗放的评价方法则无法真实反映辅导教师的实际工作状态，对教育管理和决策只能起到有限的参考作用。究其原因，一方面是由于对辅导教师工作的重要性认识不足，对评价重视程度不够;另一方面则是因为对在线教学的客观规律认识有所欠缺，“没有人确切地知道，在影响优秀学生的学习上，教师应扮演什么样的理想的角色”[7]，利用传统手段难以准确评估学习者学习过程中获得的进步究竟有几分是源于辅导教师的工作，从而也就很难去评价辅导教师的学习支持服务效果。
学习分析技术强调基于数据的学习描述、诊断、预测和干预，使得对学生学习过程的描绘成为可能，基于这种可能，方便我们及时监控教师进行辅导、反馈或干预后学生短期乃至中长期的学习状态变化情况，从而为评价辅导教师的学习支持服务效果提供了较为科学的依据，为当前处于混沌状态的辅导教师综合评价提供了一条新路。但目前来说，绝大多数研究与实践仅仅将学习分析技术用于评价学生，使用教学和学习的过程数据来对教师进行全面、系统建模评价的研究相对较少。因此，本研究尝试对教师进行综合建模，形成科学的具有操作性的评价维度框架，并且构建完整的模型算法，利用平台记录的教与学的行为数据实现自动化的参考性评价。
由于评价主要针对的是辅导教师所提供的学习支持服务，因此评价模型的建立也参考了SERVQUAL服务质量通用评价模型。该模型由Parasuraman等人基于对银行、维修等行业的服务质量研究提出，从有形性、可靠性、响应性、保证性以及移情性等五个层面来评价服务质量。[13]该模型目前已经被各服务行业的管理者和研究者广泛接受和使用，在线教育领域也逐渐有学者开始用其来对学习支持服务的质量进行评价。考虑到该模型中的有形性维度指的是物理设施等硬件条件，体现于在线教育领域主要是针对平台、环境等方面的评价，这些并非辅导教师的主要服务职责，所以在构建综合评价参考模型时我们仅考虑了其他四个维度的对应性迁移。结合辅导教师角色定位、工作职责和SERVQUAL服务质量通用评价模型，我们初步构建了如下的六维度理论模型。
Berge认为，辅导教师社会性角色的主要职责是为学习者创设一个友好舒适的社会环境和氛围来开展学习活动。随着在线教育的发展，学习社会环境的内涵不断丰富，不仅包括基于教师、学习者、小组等构成的人际网络，也包括基于教学内容、教学资源以及各种媒介等构成的认知和概念网络。而教师的职责，也从创设社会环境，延伸到协助学习者建立连接，形成、维持社会化网络并且持续优化的过程。我们在构建模型时引入联通度这一维度，既对教师与学习者所形成的整个社会化联通网络进行评价，同时也评价教师作为这个网络中的关键节点所起的作用。
从辅导教师的管理角色出发，我们将其学习管理职能和学习评价职能进行归并，构建了认可度和调控度两个维度。随着在线教育的发展，辅导教师的教学方式已经不再仅仅局限于简单的知识讲解和答疑，大部分教师已经认识到工作重心需转向如何组织与引导各种在线互动活动，并通过小组学习、学习社区等方式来促进学习者的学习。认可度表征了辅导教师被学习者信任和认可的程度，这是对学生进行有效组织、管理和评价的前提，体现了SERVQUAL模型中的保证性与可靠性维度;而调控度则体现了SERVQUAL模型中的响应性与移情性，表征的是辅导教师帮助不同类型学生确立学习目标，并且对学习活动和学习过程进行反馈、组织与管理的及时性和有效性。
最后，基于辅导教师的技术角色，我们用技术帮助度来评价教师在学生学习过程中选择合适的技术媒体，提供相应的技术支持以及帮助学生解决特定技术问题的非学术性工作。
初步模型构建后，研究者邀请了在线教育、学习分析和教学评价领域的7位专家进行了半结构化访谈。专家访谈中提出，在当前在线教育的实际教学工作中，学生对技术方面的支持需求远小于其他几个维度，特别是在经过最初一两门课程的学习，对课程平台已经较为熟悉的情况下，学生技术方面的问题会大幅度的减少。李爽等人对开放大学辅导教师的能力需求调查也得出了类似的结论，即技术应用的整体重要性较低，是辅导教师的基本技能而不是核心技能。[15]因此，我们去除了技术帮助度这一维度，将其中的某些指标分解到其他维度中去。最终基于对在线教育辅导教师角色和工作职责的梳理，结合专家意见，提炼构建了教师综合评价参考模型，称为T-SERI模型(Teacher-SystematicallyEvaluationReferenceIndicator)，如图1所示。
图1教师综合评价参考模型
T-SERI模型由维度和指标构成，其中维度满足对教师的某方面评价需求，具有一定概括度和抽象层次，可能包含多个指标，指标则是对维度的具体分解。例如衡量教师教学投入的“投入度”维度，包括“导学投入”“助学投入”“促学投入”“情感投入”等一级指标，在“行为投入”指标下又包括“活跃度”“持续度”等二级指标。构成T-SERI模型的五个维度具体如下。
1.促进度
衡量学生在实现教学目标的过程中取得的进步，以此为依据对辅导教师教学的有效性进行评价。
2.投入度
3.联通度
对教师帮助学生建立、维持和优化的社会化人际网络和认知网络以及教师在形成的社会化网络的发展中所发挥的作用进行评价。交互是联通度评价核心，包括教师和学生的交互、教师和资源的交互等。
4.认可度
通过学生在教师辅导、反馈或干预后的学习状态变化情况表征学生对辅导教师教学与管理工作的信赖程度。
5.调控度
从及时性、个性化等方面对教师的学习活动的组织、学习小组的管理、学习步调的协调等方面的工作进行评价。
1.数据的预处理
2.特征变量提取
3.算法模型构建
理论模型中一部分指标维度仅就教师行为或学生学习状态变化进行评估，此时我们一般采用机器学习的方法进行模型的训练。而另一些指标维度需要综合教师自身工作表现和对学生产生的影响两种角度来进行评价(如调控度等)。虽然对特征变量都会进行标准化处理，使其成为无量纲的数据，但由于两种角度存在较大的差异性，仍然不适合使用机器学习的方法对模型进行训练。这种情况下，我们使用模糊层次分析方法(FuzzyAnalyticHierarchyProcess)，由专家对同一级指标的重要性进行估计，并且将指标两两之间比较，根据一定评价标准确定指标的相对重要程度，根据比较结果，建立这些指标的重要性模糊一致判断矩阵，通过计算，确定各指标之间的相对重要性，也就获得了计算上一级指标或维度的对应权重，继而一层层向上汇聚最终构建完整的T-SERI模型。
基于国内某高校网络教育学院的教学数据，我们对T-SERI评价模型进行了应用和效果验证。首先对该网络学院课程平台数据库、学习管理数据库中的异构数据进行汇聚清洗，检查已有数据质量。对某些缺失或质量欠佳的关键数据，我们对课程的所有页面另外进行了埋点，以获取比原有数据粒度更细、更详尽的教师和学生行为数据，最终将所有获得的数据汇聚到数据仓库，提取出特征值，最终计算出相应的指标、维度和T-SERI的分值，并且在PC端和移动端进行可视化呈现，移动端的几个关键页面如图2至图5所示。
图2学院总体T-SERI
图3教师实时预警
图4教师个人T-SERI值
图5教师提升建议
首先是评价的数据采集问题。对于基于学习分析的评价来说，数据是一切的基础，脱离了实际数据，再全面的模型也没有意义。相较于很多在线教育机构已经开始重视学生用户数据，开始有意识地尽可能保留学生在线学习产生的一切过程性数据，教师教学数据的记录尚未得到足够的重视，这就造成了教师的行为数据在丰富性上要逊色于学生的行为数据。所以，为了全面评价教师的工作，我们使用学生学习状态的变化或取得的成就来评价辅导教师为学生提供学习支持服务的质量与效果。当然，如果大量学生表现出共性的学习状态改变，确实能从侧面体现教师的工作起到了效果;但如果只有一部分学生学习状态发生变化，或者状态变化并不明显的时候，究竟是教师工作的效果还是受到其他因素的影响，这就需要进一步进行研究，而这种情况往往是经常出现的。因此，通过学生的学习数据来评价教师只能作为一种辅助手段，要对教师进行全面客观科学的评价，还是需要在线教育机构重视对教师数据的收集，将教师的备课、教学反思、与教学团队其他成员的交流沟通等可能发生的行为都记录下来，尽可能收集教师教学过程中产生的各种数据。
发表于《电化教育研究》2016年第10期
[参考文献]
[1]Holmberg，B..TheoryandPracticeofDistanceEducation[M].London：Routledge，2005.
[2]郑勤华，李秋菊，陈丽.中国MOOCs教学模式调查研究[J].开放教育研究，2015，(6)：71~79.
[3]Onah，D.F.O.，Sinclair，J.，Boyatt，R..DropoutRatesofMassiveOpenOnlineCourses：BehaviouralPatterns[J].Edulearn14Proceedings，2014：5825~5834.
[7]Shinkfied，A.T.，&Stufflebeam，D..TeacherEvaluation：GuidetoEffectivePractice[M].Boston：KluwerAcademicPublishers，1995.
[8]Berge，Z.L..FacilitatingComputerConferencing：RecommendationsfromtheField[J].EducationTechnology-SaddleBrookNJ，1995，35：22~22.
[9]Goodyear，P.，Salmon，G.，Spector，J.M.，etal.CompetencesforOnlineTeaching：ASpecialReport[J].EducationalTechnologyResearchandDevelopment，2001，49(1)：65~72.
[10]翁朱华.我国远程教育教师角色与专业发展[J].开放教育研究，2012，01：98~105.
[11]J.Bawane，J.M.Spector.PrioritizationofOnlineInstructorRoles：ImplicationsforCompetency-BasedTeacherEducationPrograms[J].DistanceEducation，2009，30(3)：383~397.
[12]李爽，张艳霞，陈丽，张婧婧，刘永权.网络教育时代开放大学课程辅导教师角色定位与职能转变实证研究[J].中国电化教育，2014，(9)：50~58.
[13]Parasuraman，A.，Zeithaml，V.A.，Berry，L.L..Servqual[J].JournalofRetailing，1988，64(1)：12~40.
[14]Skinner，E.A.，Belmont，M.J..MotivationintheClassroom：ReciprocalEffectsofTeacherBehaviorandStudentEngagementAcrosstheSchoolYear[J].JournalofEducationalPsychology，1993，85(4)：571.
[15]李爽，张艳霞，刘永权.北京开放大学课程辅导教师能力需求与实际现状调查[J].中国电化教育，2014，(12)：59~66.
[16]郑勤华，陈耀华，孙洪涛，陈丽.基于学习分析的在线学习测评综合建模与应用——学习者综合评价参考模型研究[J].电化教育研究，2016，(9)：33~40.
TheConstructionandApplicationofAnOnlineLearningEvaluationSystemBasedonLearningAnalyticsTechnology:AStudyofTeacherSystematicEvaluationReferenceIndicator
CHENYao-hua,ZHENGQin-hua,SUNHong-tao,CHENLi
[Keywords]LearningAnalyticsTechnology;TeacherSystematicEvaluationReferenceIndicator;T-SERI;TeacherEvaluation
【基金项目】北京师范大学自主科研基金项目“学习者在线学习状态分析与可视化工具研发”(项目编号：SKZZB2015013)
【
【作者简介】陈耀华(1983—)，男，江苏盐城人。博士研究生，主要从事远程教育、学习分析等方面研究。E-mail：chenyaohwa@126.com。