【刊载信息】杨华利,耿晶,胡盛泽,黄涛,徐晨曦.2022.人工智能时代的教育测评通用理论框架与实践进路[J].中国远程教育(12)：68-77.
【关键词】教育信息化；教育评价；教育新基建；教育测评；项目反应；认知诊断；知识追踪；智能化测评
一、
引言
二、
人工智能时代教育测评理论发展背景
（一）教育测评的概念界定
教育测评（EducationalAssessment）是以现代心理学和教育学为基础，通过科学方法对学习者的认知过程和发展潜力等特征进行客观定量刻画，并对教育现象进行科学价值判断的过程。教育测评由教育测量（Measurement）与评价（Evaluation）组成，评价是价值判断的最终目标，测量是实现定量描述的手段（范涌峰,等,2019）。牛顿（Newton,2007）从教育测评的目标出发定义教育测评的内涵，包括判断目标、决策目标和影响目标三个层次。从流程上看，教育测评分为定量、定性与价值判断三个步骤。桑德格勒等（Sondergeld,Stone,&Kruse,2020）将教育测评分为常模参照测评和标准参照测评，前者包括轨迹、过渡表、学生增长百分位数和投影四个流行的增长模型，后者包括传统的Angoff高风险测试模型和现代更高级些的基于项目反应理论模型。布鲁姆等（Bloom,Hastings,&Madaus,1971）将教育测评分为学习完成后进行的总结性评价和以学习过程为中心的形成性评价，前者侧重于宏观能力的评价，后者侧重于微观知识的精熟度评价。人工智能时代的教育测评亟须探索教育现象的本质和规律，将教育测评过程中抽象、潜在的属性精准量化，为价值判断与分析提供全面、有效的客观数据。
（二）教育测评理论分类
（三）教育测评场景剖析
基于布鲁姆对教育测评的总结与过程分类，学者们将教育测评场景分为两大类别，如图1所示。单次规模化测评场景是一种终结性测评，隶属于判断范畴，即通过对某一时刻学习者群体的测评数据建模来判断学习者当前的认知水平，适用于国际大规模测评或者区域教学质量检测等教育情境，代表模型包括经典教育测量模型、项目反应理论和认知诊断模型等。多次持续性测评场景属于形成性测评（Wongwatkit,Srisawasdi,Hwang,&Panjaburee,2017），隶属于决策范畴，在学习过程中通过动态连续跟踪采集学生测评数据来建模，实时了解学生的学习状态，通过“反馈-矫正”不断调整课堂进度与学习者学习的重点，其建模方式以知识追踪模型为代表，能够动态监测知识水平的演变和发展趋势。
图1教育测评场景对比
三、
教育测评理论的跨越式变迁
伴随认知心理学和人工智能技术的迭代更新，教育测评理论经历了从传统数学统计向智能计算的跨越式发展。为探索其理论的发展与变迁，本文根据教育测评的分类，选取项目反应理论、认知诊断模型和知识追踪模型三种理论来探讨。经研究发现，三种理论均经历了兴起阶段、发展阶段和智能化崛起阶段。
（一）项目反应理论：面向学习者反应的学习者潜在能力挖掘
针对基于随机抽样的早期教育测量理论“唯分数”的局限性，项目反应理论（ItemResponseTheory，IRT）采用项目特征函数描述单次测评场景或者自适应练习场景（Rasch,1960）。具体来说，IRT是根据学习者在项目上的反应和其本身的潜在能力间的关系输出学习者能力值，实现由外在表现到潜在能力的转变（Embretson&Reise,2013）。当前在教育领域广泛推广的Rasch模型，其本质即为参数IRT模型。针对项目反应理论的单维性假设的局限性，查默斯将其扩展至多维项目反应理论MIRT（Chalmers,2012），利用多维隐藏能力刻画学生状态（Sympson,1978），它对潜在能力的刻画更为精准。伴随人工智能技术的兴起，DIRT模型（Cheng,etal.,2019）和TC_MIRT模型（Su,etal.,2021），结合深度学习技术估计传统项目反应理论中的能力、区分度、困难度等参数，达到挖掘学习者潜在能力的目的，其对学习者能力的表示更为精准，同时兼顾了其模型的可解释性。
（二）认知诊断模型：基于Q矩阵的认知水平建模
如图2所示：在兴起阶段，基于概率与统计学方法对测评数据建模，从一定程度上解决了教育测评诊断学习者能力水平、知识水平与认知水平（Embretson,etal.,2013;DeLaTorre,2009;Yudelson,etal.,2013）的问题；在发展阶段，利用数据挖掘与传统统计学方法联合建模，使其诊断精准性得到一定的提升（Chalmers,2012;DeLaTorre,2011;Zhan,etal.,2017）；在崛起阶段，将深度学习等智能化技术引入教育数据挖掘与分析领域，不论是传统概率统计模型，还是基于深度学习模型，其效果预测表现效果得到显著提升（Piech,etal.,2015），体现了人工智能技术对教育测评的深刻影响。智能时代的教育测评实现了从“经典分数论”向“能力论”转变，从“结果性测评”向“过程性测量”转变，从“静态单维诊断”向“动态多维追踪”的转变，以及从“经验主义”“数据驱动”向人工智能时代“数据决策”的精准测量的转变。
图2教育测评理论跨越式变迁
四、
人工智能时代教育测评框架和实现路径分析
教育测评模型的本质是通过学习者对项目的作答反应构建教育测评模型，并对学习者的认知状态进行追踪与测评。具体来说，模型通过分析可观测变量与不可观测变量的关系建立目标函数或挖掘潜在关联，对隐性变量进行参数估计，最终输出测评结果并应用于教育场景。智能化教育测评旨在应用人工智能技术，在提高测评精确度的同时更好地模拟不可观测变量的运行机制。结合教育数据挖掘流程、学习分析技术在教育中的应用框架，本文在剖析多种教育测评模型的实施路径基础上提出人工智能时代教育测评模型通用性理论框架，如图3所示。通用性理论框架包括教育数据分析、教育测评建模、模型参数估计、测评模型评估和创新教学应用等环节，通过对教育测评数据进行建模精准诊断学习者当前认知水平，挖掘认知变化内在的规律，通过应用实践助力于教育教学模式的创新。
图3教育测评模型通用性理论框架
基于以上教育测评理论框架，我们在每个阶段选取1~2个具有代表性的教育测评模型进行对比分析，研究各大经典测评模型的内涵与动作机理，剖析其模型函数的实施流程，探索其模型在人工智能时代的发展、应用以及存在的问题。
（一）教育测评数据分析
构建智能化教育测评模型需要对测评场景数据进行量化分析，从数据分析中挖掘出隐藏的显性变量与隐性变量。表1为经典测评模型数据采集特征与变量对比。
表1代表模型的变量分析
3.不可观测隐性变量设计。测量模型中涉及的不可观测的隐性参数有项目难度t、区分度α、能力θ、猜测сorg和失误s等。前四者常见于项目反应理论，后两者常见于认知诊断模型。知识追踪模型采用神经网络的隐藏单元来表示隐性知识点状态，通过神经网络反向传播来调整参数。
（二）智能化测评模型分析
根据现有测评数据特征，如何利用智能化技术来构建智能化测评模型以实现教育过程性大数据的精准化诊断是智能化测评模型的核心。
1.技术催生智能化项目反应理论
智能化项目反应理论遵循传统项目反应理论原理，以“学生的反应矩阵”为模型输入，以学习者能力为中心建模，以此预测学习者在未来项目上的表现。TC_MIRT（Su,etal.,2021）是智能化项目反应模型的代表，其原理仍是基于项目反应理论及其扩展的多维项目反应理论。其中，项目反应理论主函数如公式所示：
多维项目反应是基于被试多种能力之间相互作用的关系输出多维连续的能力值，将学习者的能力多维化，让学习者能力描述更加细化与精准，但由于多维能力的引入其计算参数按倍数增加，影响其参数估计的速度。TC_MIRT则通过长短时记忆网络与卷积神经网络等深度学习方法估计多维项目反应函数所需的参数，通过预测学习者反应的正确性来反向调节神经网络参数。相比于原始项目反应理论，其能力评价更多维化，计算速度更快；相比于多维项目反应模型，突破了其参数量大、估计速度慢的困境。
2.技术驱动智能化认知诊断
人工智能时代的认知诊断，除了注重基于教育现象的深层教育规律分析以外，还利用先进的深度学习等智能化技术对不同教育测评中的变量建模，利用智能技术优越的表现性来提高认知诊断的精准性。关系认知诊断RCD是智能技术与认知诊断相结合的典型代表，其原理遵循传统认知诊断模型，以微观知识技能为核心，通过认知诊断函数获取学习者当前认知状态。传统经典认知诊断模型DINA主函数公式如下：
DINA模型将学习者知识状态假设为掌握与未掌握二元向量，将学习者正确答题情况分为两种：学习者掌握了知识但答错（失误）和学习者未掌握知识而答对（猜测g），输出学习者掌握模式α。发展阶段FuzzyCDM融合项目反应理论与认知诊断理论，构建多层认知诊断框架，同时用“模糊集理论”建模联结型客观题和补偿型主观题，实现更精准的学习者知识状态表征。鉴于前两种模型存在依赖完备的Q矩阵问题，很难在真实的教育测评场景中实施与应用，因此智能时代的RCD（Gao,etal.,2021）继承了认知诊断思想与项目反应理论的优点，利用多级注意力网络实现学习者、试题与概念三层关系图的信息聚合，避开Q矩阵完备性难题，并采用认知诊断函数输出学习者认知状态，实现认知诊断对学习者认知状态的精准诊断，更适用于认知诊断模型在教育领域的实施与落地。
3.技术赋能知识追踪方式变革
人工智能技术加速了深度知识追踪方式的变革，不论是采用新型深度学习技术，还是融入认知心理学特征，其本质仍以认知过程时序数据处理为核心，以预测学习者未来知识表现为目标，来探究学习者的认知演变机理。智能化的知识追踪遵循传统贝叶斯知识追踪基本原理，以学习者知识状态为隐藏状态，通过深度神经网络的隐藏层跟踪学习者的知识掌握状态的演化。基于学习与遗忘的动态认知诊断模型CF-DKD（Huang,etal.,2021），是基于我国多次连续测评场景，能够体现学习者认知过程的学习与遗忘规律的记忆神经网络，通过学习者的每次答题动态更新学习者的知识状态和认知过程，以此增强时序神经网络对知识的跟踪，实现对学习者未来表现更精准的预测。
（三）参数估计方法
兴起与发展阶段的测评模型均基于概率统计方法，其参数估计方法采用最大期望EM算法（Dempster,Laird,&Rubin,1977）和马尔可夫链蒙特卡罗MCMC算法（Liu,etal.,2018）。智能化阶段通过深度学习模型的反向传播来更新神经网络参数，使目标损失函数达到最小值。三种参数估计方法如图4所示。
图4三种主流参数估计方法对比
EM算法隶属迭代优化方法，适用于数据缺失情况，对初始值较为敏感（DeLaTorre,2011）。MCMC算法是在概率空间中通过随机采样来估算参数的后验分布，具有良好的可扩展性，针对多参数的模型仍具有良好的效果，弥补了EM算法缺陷。然而，智能化测评模型中的参数估计采用反向传播计算，重点解决迭代过程中的梯度问题（Werbos,1974），通过“前向传递输入”“反向传递误差”，误差由输出层反向传播，将误差分配给各层来修正各层权重，解决了隐层传播中权重值计算问题，在深度学习领域广泛使用。
（四）测评模型评估
鉴于项目反应与认知诊断理论中输出的学习者能力与知识掌握状态均为不可观测值，教育测评模型采用可观测的学习者表现来评估模型（Wang,etal.,2020;Gao,etal.,2021;Huang,etal.,2021）。从各模型实验结果的对比分析中，我们发现当前主流的智能化模型评估主要从“精确度”来评估模型，包括分类（ROC曲线下的面积AUC指标和准确性ACC）和回归（均方误差MSE、均方根误差RMSE）两个角度。发展阶段的测评模型在预测精确度方面优于兴起阶段的测评模型，而崛起阶段加入深度神经网络的智能化测评模型的预测精确度明显优于传统模型，证明了其预测结果具有较好的效度。基于教育和心理测量学理论，良好的测评模型需对其信效度进行系统检测（骆方,等,2021），然而，当前智能化测评模型对测评模型的区分度（将所测认知与其他区分开）、信度（预测结果的可靠性）和公平性（对不同群体的偏差）等方面的评估较为缺乏。
（五）测评分析结果的教育应用实践
根据教育测评模型输出的知识技能状态、能力等学习者认知水平信息，我们可将其应用在教育领域危机预警、资源推荐和路径规划等方面。第一，通过测评模型对学生的认知水平动态追踪，科学构建学习仪表盘，可实现危机学生早期预警。比如，阿吉拉尔开发的基于仪表盘的早期预警系统（Aguilar,Karabenick,Teasley,&Baek,2021）在美国中西部某公立大学201名学生中展开实证研究，证明预警系统对学生学习动机和自我调节产生了重要影响。第二，通过对学习者认知状态的量化分析，可实现向学习者自适应推荐试题，采用最少的试题达到测评认知水平的目标。比如，基于IRT实时计算学习者能力水平设计实现的试题提示的自适应推荐的脚手架系统（Ueno&Miyazawa,2017），在某大学93名学生中开展实验，证明了系统的有效性与有用性，同时还探索了其最佳推荐的能力阈值。第三，根据认知水平的测评结果，可以为学习者自动规划学习路径（Shou,etal.,2020）。比如，通过认知诊断工具，利用K-means聚类分析方法来构建学习者的学习路径（Wu,Wu,Zhang,Arthur,&Chang,2021），在TIMSS2015数学测试中抽取726名学习者进行验证，有效构建了学习者的个性化学习进程，促进个性化学习。
五、
人工智能时代教育测评发展趋势
（一）探索人工智能时代教育测评理论的价值内涵
基于传统教育测量与心理学理论，通过对经典教育测量理论、现代教育测量理论和新一代教育测量理论的深度剖析，结合学习者认知加工过程的客观规律，人工智能时代的教育测评应着重利用智能化技术挖掘学习者在“知识建构、认知发展和综合能力”方面的理论价值，如图5所示。基于美国能力本位理论（程新奎,等,2021），剖析“知识-认知-能力”内部认知机理，探索由知识“现象”到认知“本质”的学习者认知结构诊断，由“局部”知识到“整体”能力的学习者综合能力测评，以及由能力“结果”到认知“过程”的学习者认知过程剖析。以此来探索传统教育测评理论在人工智能时代的价值底蕴，实现“为学习而测评”的目标，为新时代的教育测评研究的开展提供理论指导。
图5教育测评认知理论框架
（二）基于多维知识空间的认知诊断
（三）面向时序数据的认知过程建模
六、
结论与建议
智能化技术推动测评范式变革，教育测评经历了从传统概率统计向人工智能技术的跨越式变迁。智能时代的测评以“为了改进而测评”为核心理念，深度剖析学习者“知识-认知-能力”的内部认知机理，为长周期时序数据构建智能化测评模型，实现学习者全息认知刻画，促进教育高质量发展。目前，国外智能化测评的研究和实施主要集中在在线自适应学习场景，而国内基础教育由于测评数据获取困难、分析结果难以及时反馈等问题应用并不广泛。根据智能化测评的实施现状，本研究提出如下几点建议：
1.探索智能化感知技术，支撑多场景测评数据的伴随式采集
基于数据挖掘与深度学习等技术的智能化测评模型需要依赖一定规模的数据集，以提高模型的精确性。然而，由于教育数据采集时存在增加教师负担、纸笔测试难以数字化、数字安全与隐私等问题，教育数据获取面临困难。各地方教育局应积极探索“产学研”合作，借助产业界先进的智能化感知技术，汇聚线上线下相结合的多空间、多场域的持续性测评数据，覆盖学习过程中的行为、心理与生理多模态数据，为形成性测评和诊断性测评等教育测评建模提供精准的特征表示（顾小清,等,2021）。通过多元测评数据的伴随式无感汇聚，在不增加师生负担的前提下提高数据获取的便利性，从根本上解决教育数据获取的困难，为教育测评提供海量数据支撑。
2.增强教育场景建模，加快智能化测评模型的落地实施
鉴于智能化测评评估以精准度为主，无法保证信度与公平（骆方,等,2021），故当前绝大部分测评模型只是应用于在线自主学习场景。而且在国内主流纸笔测评场景中，由于行为特征少、数据稀疏等问题，不满足智能化测评的实施条件，以致智能测评模型在我国真实的教育场景中仍难以实施。针对形成性与诊断性测评等单次纸笔测评场景，借助智能化技术从规模化学习者测评过程数据中挖掘学习者的认知结构缺陷，提高其实验的信效度。针对多次测评场景，在汇聚的海量过程性数据基础上，通过对学习者的学习过程与遗忘过程建模，实现学习历程跟踪与监测，发现学习者的波动趋势，形成可靠的预警机制。同时，设计适应于智能化技术的新型测验效度检测方法，在保证认知水平诊断准确性的同时提高实验的实用性与可靠性，以此加快智能化测评模型在教育领域的落地实施。
3.提高教师数据素养，促进测评数据驱动的精准化教学
参考文献
程新奎，张瑾.2021.美国能力本位教育的新发展及其对我国远程开放教育的启示[J].中国远程教育（12）：28-37.
范涌峰，宋乃庆.2019.大数据时代的教育测评模型及其范式构建[J].中国社会科学（12）：139-155，202-203.
冯晓英，郭婉瑢，黄洛颖.2021.智能时代的教师专业发展：挑战与路径[J].中国远程教育（11）：1-8，76.
顾小清，李世瑾，李睿.2021.人工智能创新应用的国际视野——美国NSF人工智能研究所的前瞻进展与未来教育展望[J].中国远程教育（12）：1-9，76.
黄涛，施枫，杨华利.2015.知识地图模型及其在教学资源导航中应用研究.中国电化教育（7）：73-78.
骆方，田雪涛，屠焯然，等.2021，教育评价新趋向：智能化测评研究综述[J].现代远程教育研究，33（05）：42-52.
王立君，唐芳，詹沛达.2020.基于认知诊断测评的个性化补救教学效果分析：以“一元一次方程”为例[J].心理科学，43（06）：1490-1497.
张进良，李保臻.2015.大数据背景下教师数据素养的内涵、价值与发展路径[J].电化教育研究，36（07）：14-19，34.
张生，王雪，齐媛.2021.人工智能赋能教育评价：“学评融合”新理念及核心要素[J].中国远程教育（02）：1-8，16，76.
Aguilar,S.J.,Karabenick,S.A.,Teasley,S.D.,&Baek,C.(2021).Associationsbetweenlearninganalyticsdashboardexposureandmotivationandself-regulatedlearning.Computers&Education,162,104085.
Bloom,B.S.,Hastings,J.T.&Madaus,G.F.(1971)Handbookonformativeandsummativeevaluationofstudentlearning.NewYork,McGraw-Hill.
Chalmers,R.P.(2012).Mirt:AmultidimensionalitemresponsetheorypackagefortheRenvironment.JournalofstatisticalSoftware,48(1),1-29.
Cheng,S.,Liu,Q.,Chen,E.,Huang,Z.,Huang,Z.,etal.(2019,November).DIRT:Deeplearningenhanceditemresponsetheoryforcognitivediagnosis.InProceedingsofthe28thACMInternationalConferenceonInformationandKnowledgeManagement(pp.2397-2400).
Corbett,A.T.,&Anderson,J.R.(1994).Knowledgetracing:Modelingtheacquisitionofproceduralknowledge.UserModelingandUser-AdaptedInteraction,4(4),253-278.
DeLaTorre,J.(2009).DINAmodelandparameterestimation:Adidactic.JournalofEducationalandBehavioralStatistics,34(1),115-130.
Dempster,A.P.,Laird,N.M.,&Rubin,D.B.(1977).MaximumlikelihoodfromincompletedataviatheEMalgorithm.JournaloftheRoyalStatisticalSociety:SeriesB(Methodological),39(1),1-22.
Dibello,L.V.,Stout,W.F.,&Roussos,L.A.(1995).Unifiedcognitive/psychometricdiagnosticassessmentlikelihood-basedclassificationtechniques.Cognitivelydiagnosticassessment,361389.
Embretson,S.E.,&Reise,S.P.(2013).Itemresponsetheory.PsychologyPress.
Gan,W.,Sun,Y.,Ye,S.,Fan,Y.,&Sun,Y.(2019).Field-AwareKnowledgeTracingMachinebyModellingStudents’DynamicLearningProcedureandItemDifficulty:IEEE,1045-1046.
Gao,W.,Liu,Q.,Huang,Z.,Yin,Y.,Bi,H.,&Wang,M.,etal.(2021).RCD:RelationMapDrivenCognitiveDiagnosisforIntelligentEducationSystems,501-510.
Goldberg,M.,&Wang,L.(1991).Comparativeperformanceofpyramiddatastructuresforprogressiveimagetransmission.IeeeTransactionsOnCommunications,39(4),540-548.
Grossman,R.,&Salas,E.(2011).Thetransferoftraining:whatreallymatters.Internationaljournaloftraininganddevelopment,15(2),103-120.
Huang,T.,Yang,H.,Li,Z.,Xie,H.,Geng,J.,&Zhang,H.(2021).ADynamicKnowledgeDiagnosisApproachIntegratingCognitiveFeatures.IeeeAccess,9,116814-116829.
Huang,Z.,Liu,Q.,Chen,Y.,Wu,L.,Xiao,K.,&Chen,E.,etal.(2020).Learningorforgettingadynamicapproachfortrackingtheknowledgeproficiencyofstudents.ACMTransactionsonInformationSystems(TOIS),38(2),1-33.
Liu,Q.,Huang,Z.,Yin,Y.,Chen,E.,Xiong,H.,&Su,Y.,etal.(2019).Ekt:Exercise-awareknowledgetracingforstudentperformanceprediction.IeeeTransactionsOnKnowledgeandDataEngineering,33(1),100-115.
Liu,Q.,Wu,R.,Chen,E.,Xu,G.,Su,Y.,&Chen,Z.,etal.(2018).Fuzzycognitivediagnosisformodellingexamineeperformance.ACMTransactionsonIntelligentSystemsandTechnology(TIST),9(4),1-26.
Mandinach,E.B.,&Schildkamp,K.(2021a).Misconceptionsaboutdata-baseddecisionmakingineducation:Anexplorationoftheliterature.StudiesinEducationalEvaluation,69,100842.
Massa,M.S.,Wang,N.,Bickerton,W.L.,Demeyere,N.,Riddoch,M.J.,&Humphreys,G.W.(2015).Ontheimportanceofcognitiveprofiling:Agraphicalmodellinganalysisofdomain-specificanddomain-generaldeficitsafterstroke.Cortex,71,190-204.
Mervis,J.2016.NSFdirectorunveilsbigideas.AmericanAssociationfortheAdvancementofScience.
Mislevy,R.J.(1993).Foundationsofanewtesttheory:inN.Frederiksen,RJMislevy,andI.Bejar,eds.,TestTheoryforaNewGenerationofTests.Hillsdale,NY:Erlbaum.
Nagatani,K.,Zhang,Q.,Sato,M.,Chen,Y.,Chen,F.,&Ohkuma,T.(2019).Augmentingknowledgetracingbyconsideringforgettingbehavior,3101-3107.
Nakagawa,H.,Iwasawa,Y.,&Matsuo,Y.(2019).Graph-basedknowledgetracing:modelingstudentproficiencyusinggraphneuralnetwork:IEEE,156-163.
Newton,P.E.(2007).Clarifyingthepurposesofeducationalassessment.Assessmentineducation,14(2),149-170.
Piech,C.,Bassen,J.,Huang,J.,Ganguli,S.,Sahami,M.,&Guibas,L.J.,etal.(2015).DeepKnowledgeTracing.AdvancesinNeuralInformationProcessingSystems,28,505-513.
Rasch,G.(1960).Studiesinmathematicalpsychology:I.Probabilisticmodelsforsomeintelligenceandattainmenttests.
Shou,Z.,Lu,X.,Wu,Z.,Yuan,H.,Zhang,H.,&Lai,J.(2020).Onlearningpathplanningalgorithmbasedoncollaborativeanalysisoflearningbehavior.IeeeAccess,8,119863-119879.
Sondergeld,T.A.,Stone,G.E.,&Kruse,L.M.(2020).Objectivestandardsettingineducationalassessmentanddecisionmaking.EducationalPolicy,34(5),735-759.
Su,Y.,Cheng,Z.,Luo,P.,Wu,J.,Zhang,L.,&Liu,Q.,etal.(2021).Time-and-ConceptEnhancedDeepMultidimensionalItemResponseTheoryforinterpretableKnowledgeTracing.Knowledge-BasedSystems,218,106819.
Subali,B.(2021).TheComparisonofItemTestCharacteristicsViewedfromClassicandModernTestTheory.InternationalJournalofInstruction,14(1),647-660.
Sympson,J.B.(1978).Amodelfortestingwithmultidimensionalitems.
Ueno,M.,&Miyazawa,Y.(2017).IRT-basedadaptivehintstoscaffoldlearninginprogramming.IeeeTransactionsOnLearningTechnologies,11(4),415-428.
Wang,F.,Liu,Q.,Chen,E.,Huang,Z.,Chen,Y.,&Yin,Y.,etal.(2020).Neuralcognitivediagnosisforintelligenteducationsystems,6153-6161.
Werbos,P.(1974).Newtoolsforpredictionandanalysisinthebehavioralsciences.Ph.D.dissertation,HarvardUniversity.
Wiliam,D.(2011).Whatisassessmentforlearning.StudiesinEducationalEvaluation,37(1),3-14.
Wongwatkit,C.,Srisawasdi,N.,Hwang,G.,&Panjaburee,P.(2017).Influenceofanintegratedlearningdiagnosisandformativeassessment-basedpersonalizedweblearningapproachonstudentslearningperformancesandperceptions.InteractiveLearningEnvironments,25(7),889-903.
Wu,X.,Wu,R.,Zhang,Y.,Arthur,D.,&Chang,H.(2021).Researchonconstructionmethodoflearningpathsandlearningprogressionsbasedoncognitivediagnosisassessment.AssessmentinEducation:Principles,Policy&Practice,1-19.
Yang,S.,Zhu,M.,Hou,J.,&Lu,X.(2020).Deepknowledgetracingwithconvolutions.arXivpreprintarXiv:2008.01169.
Yudelson,M.V.,Koedinger,K.R.,&Gordon,G.J.(2013).Individualizedbayesianknowledgetracingmodels:Springer,171-180.
Zhan,P.,Jiao,H.,&Liao,D.(2018).Cognitivediagnosismodellingincorporatingitemresponsetimes.BritishJournalofMathematicalandStatisticalPsychology,71(2),262-286.
Zhang,J.,Shi,X.,King,I.,&Yeung,D.(2017).Dynamickey-valuememorynetworksforknowledgetracing,765-774.
作者简介
杨华利，博士，讲师，武汉纺织大学计算机与人工智能学院（430200）
耿晶，博士研究生，华中师范大学教育大数据应用技术国家工程研究中心（430079）。
胡盛泽，博士研究生，华中师范大学人工智能教育学部（430079）。
黄涛，博士，教授，博士生导师，本文通讯作者，华中师范大学教育大数据应用技术国家工程研究中心（430079）。
徐晨曦，本科生，华中师范大学人工智能教育学部（430079）。
基金项目：本文系国家自然科学基金面上项目“面向时空融合的学习者认知诊断理论及关键技术研究”（项目编号：61977033）的研究成果。