【刊载信息】胡航，杨旸.2022.多模态数据分析视阈下深度学习评价路径与策略[J].中国远程教育（2）：13-19.
【摘要】深度学习评价是多领域交叉形成的一个新方向，通过采集并构建深度学习数据库创设深度学习评价分析模型以达到优化教育评价的目的。根据目前的研究基础和研究问题，深度学习数据库根据“脑—行为—认知—环境—技术”五种模态进行数据的采集、标注与分析；学习绩效预测利用运动预测指标与课堂预测指标，为分析和量化运动、课堂行为与学习绩效之间的关系提供有力的评价支撑；深度学习评价分析基于“四个基本要素”“四个基本原则”这一前提，保证其遵循教育规律、教育现实与教育发展。未来基于多模态数据的深度学习评价可从数据采集自动化、整合预测模型、深化教育应用、统一机理、增强决策智慧化等方面实施和改进。
【关键词】多模态；大数据；深度学习；行为分析；数据挖掘；学习绩效预测；评价机制；教育决策
一、
研究基础与问题
据此不难看出，计算机系统分析的学生行为，不能毫无顾忌地作为解释学生认知的终极手段，深度学习教学评价所提倡的技术与教育统一应是包括知识与逻辑、情感态度、知识建构、学习动作的统一，是由教学主体间相互影响内化而成的。
（二）多模态数据的深度学习评价基础
1.早起、借阅行为与学习绩效的关系
2.基于数据关系的学习绩效预测模型构建
在前期研究中，通过采集800多名大学生的生活数据，构建在线学习行为、早起行为、借阅行为和学习绩效预测指标，通过五种机器学习模型对学习绩效进行预测分析，结合提升（Boosting）和装袋（Bagging）两种方法提高预测模型的准确率，并与人工神经网络和深度神经网络模型进行预测性能对比。研究表明：一是多场景行为表现指标有较强预测能力，深度神经网络模型预测准确率最高（82%），但耗时最多；二是结合决策树与规则模型建立了分类规则、易读性高和易操作等特点，可实现多场景学习行为诊断，实现精准教学干预、学习资源推荐与教育决策推荐（胡航,等,2021）。
3.预测模型应用：基于运动与学习的分析
（三）问题发现
1.多模态数据结构性与系统性不足
2.预测模型智能性与应用性不强
预测学习效果本身并不是目的，而是为了给教师提供教学决策和行动方案制定的客观依据，教学决策和行动方案会随着客观条件的变化而调整。因此，预测不应一次完成，而应是一个预测与调控持续循环反复的过程。通过构建行为预警与组合评价策略能较好地对课堂行为进行分析和评测，但课堂视频在分析中如果截取的图像出现一些模糊影像，甚至有一些对抗样本，会使行为特征数据的分布产生偏差，对后期预测模型的准确性和泛化能力产生影响。目前的预测模型能较好地预测运动与课堂行为特征对学习绩效的影响，但只能呈现行为与学习绩效的关系，不能得出运动与课堂行为之间的联系，特别是运动对课堂行为产生的影响，或是课堂行为与运动之间的关系，未能从模型中反映出来。
3.评价机制科学性与有效性不够
4.教育决策可靠性与扎根性不力
数据智能化作为实现教学对象“可观测、分析、解释、预言和调控”的有效技术手段，能够细致化学习者的行为模式、量化学习者个人属性（如生理、人格、知识、意向和情感等）、预测学习者的学习绩效、透视人的心理与动机，最终进行干预与调控（段伟文,2018）。如今，纵观教育体系中宏观层面的教育体制与教育管理，在中观层面的数字化教育决策服务和微观层面的数据化建设等方面，研究成果依然不够多，仍不足以为教育决策提供可靠的理论支撑（张琪,等,2021）。另外，我国目前的教育决策仍然囿于垂直式管理，组织结构、运作模式、专业结构、队伍特质等方面的自我强化特征明显（王小飞,闫丽雯,2020）。在数据化驱动教育决策、结构化变革教育的数字化时代，亟待使用多模态数据分析技术对教育决策进行细致化、量化的分析，为扎根数字化教育决策提供重要依据（顾小清,2020）。
二、
深度学习评价分析路径
图1基于多模态的深度学习评价分析模型
（一）多模态数据采集
深度学习强调的是将脑、认知、行为、环境与技术融合，并促进学习空间从传统单一的教室实体向物理空间和网络空间高度融合的混合式学习空间变迁。随着可穿戴设备、大数据挖掘技术、人机交互等技术的不断兴起与更新，推动传统教学环境下的多模态数据得以采集。根据复合场景（生活场景、课内学习场景和课外学习场景）下的多模态数据采集构建深度学习数据库（如图2所示），包括数据采集、数据标注和数据分析三个阶段。每个阶段相互作用与影响，数据库内各层级数据互为因果并形成一定的循环（如图3所示）。需要说明的是，图2和图3为相互对应的关系，内核层表示深度学习数据库的合集，最外层表示数据库中的具体数据对象，从内核层到具体数据层表示的是数据的逐步细化与学习表征的过程。
图2深度学习数据库构成图
图3深度学习数据库关系模型
第一阶段是数据采集。基于摄像头、麦克风、脑电设备、眼动设备、心理传感器等模态传感器，利用深度学习、人工智能、大数据深度挖掘和区块链等技术，对学习者学习过程中的行为及其环境数据进行采集。通过云存储平台引入面向区块链的访问控制、安全计算和同态加密等信息安全技术，对研究实验中产生的多模态数据进行切片化处理，并对各切片数据予以加密，使参与计算的各方能够保证在不向验证者提供任何信息的情况下，保证验证者论断的正确性，从而有效避免引入第三方造成对数据的窃取或者窥视（牟智佳,2020）。该数据库按照性别、学段、学科、行为和区域等字段，反映学习者个体及群体的学习现状与规律，为多模态数据库的特征提取和融合数据提供存储支持。
第三阶段是数据分析。深度学习因子数据分析阶段采用深度信念网络（DBN）对五种模态数据进行决策分类，构建元认知、学习投入度、学习专注度和学习情绪四个学习指标；在决策阶段采用深度玻尔兹曼机（DBM）对四个学习指标进行决策分类，构建学习因子关系模型，进而分析深度学习的认知水平，最终建立一个完整、可信的多模态深度学习数据库。
可见，在深度学习数据库建构与运行的三个阶段，每个阶段都有明确的构建任务、发展目标与核心技术，各阶段相互影响、层层递进并互为因果，具有内在的严谨性和系统性。
（二）学习绩效预测
在前期研究的基础上，更新了基于多模态的深度学习绩效预测模型，其研究流程如图4所示。
图4深度学习绩效预测模型流程图（李雅馨,等,2021）
其一，在标注指标数据源上，按照学习成绩将学生分为A组（大于、等于80）和B组（小于80），通过两个策略在这个二分类问题中的应用来综合分析运动与课堂行为和学习绩效之间的关系，主要从两条路径构建学习绩效模型的应用策略。其二，在行为预警策略构建上，首先通过机器学习建立决策树（C&R）和规则（JRip）模型，分别用于行为指标分类的可视化和学习行为规则集的生成；然后将行为规则集中的关键分类阈值进行合并和转换，确定用于行为预警判断的阀值区间；最后生成运动与课堂行为预警策略。其三，在行为组合评价策略构建上，首先通过对机器深度学习分类模型（WekaDeeplearning4j）与决策树和规则预测模型进行预测效果的比较，确定最优预测模型的预测结果，得到预测指标，即先导经验λ；然后使用主成分法计算运动与课堂行为类型的权重系数，同时使用熵值法，结合λ计算两个行为类型中行为指标的权重系数；最终得到调整后的运动与课堂行为权重系数，同时计算行为特征、行为类型和组合评价的得分区间，为分析和量化运动与课堂行为对学习绩效之间的关系提供有力的评价支撑。
（三）深度学习评价分析运行机制
基于多模态数据的深度学习评价分析运行机制，一方面以多模态数据与学习者为核心，在复合场景（生活场景、课内学习场景和课外学习场景）中进行数据采集与分析；另一方面，学习者、技术和环境三者之间存在一个双向动态且交互的关系，以期保证深度学习评价分析的正常运行。另外，在评价体系中还应包含对教学、科研、管理和评价的综合应用，涉及实现步骤与前提可被理解为“四个关键要素”和“四个基本原则”，为深度学习评价分析研究提供支撑。
1.四个关键要素
“四个关键要素”和“四个基本原则”保证基于多模态数据的深度学习评价分析的可实施性和系统性。其中，“四个关键要素”包括数据采集与预测、多模态数据融合、动态交互协作和学习服务，成为深度学习评价运行和优化的重要支撑。
（3）动态交互协作。在整个分析模型中，各场景、各要素与各阶段需要协调运作，针对复杂问题，实现“人—技术—数据—环境”四个要素的和谐与统一。这就涉及虚实体内多主体的动态交互协作，如学习者与传感器、可穿戴设备、环境、教师、同学和教务系统间的交流与反馈。
（4）学习服务。为彰显深度学习评价分析模型的关键要素，针对模型的开发、运行、调控、评测与优化都需要以学生为主体。不仅要明确服务的标准与目标，更要不断提高模型的服务水平，同时提高满足学习者切实需要的智慧化适应能力。
2.四个基本原则
为了保证模型的科学性与有效性，深度学习评价在实施过程中还需遵守“四个基本原则”，即遵循现实基础、保持数据更新、增加模型数量和紧跟时代前沿。
（1）遵循现实基础。这里指的是在进行深度学习评价分析模型构建之前，要对学校的智慧化建设现状、信息化建设条件等进行全面核实，以保证构建具有适应性的模型设计方案。
（2）保持数据更新。多模态在积累到一定数量的同时，需要兼顾数据的“新鲜度”，以保证系统学生数据的多样化，以此充分发挥内部数据的有效性。另外，管理者与研究者还要充分考虑学生数据的隐私性与保密性，在后期研究与开发中做好数据库的保密与整理工作。
（3）增加模型数量。基于多模态的深度学习评价分析模型的最终目标是实现全方位、全模态、全周期并具有高度适应性的教育评价，需要研究者融合多学科、多领域的知识与技术，逐步达到符合全学段、全类型的深度学习评价分析模型。
（4）紧跟时代前沿。为创建一个具有高度精密性、具有智慧决策性的深度学习评价分析模型，研究者、学校、管理机构等需要紧跟时代发展（艾兴,等,2021）。遵循现实基础，通过不间断地提高模型质量逐步达到能够精准预测学习者的先知、先觉与共智，以此实现深度学习评价分析模型的价值最大化。
三、
深度学习评价策略
深度学习评价在跨空间、跨学科与跨时段的视阈下进行数据记录、采集、加工与处理，实现数据在深度学习评价分析模型中流畅地运行与累加，以此实现高效能的一种评价方法。基于以上分析，构建了深度学习评价策略（如图5所示）。
图5深度学习评价策略图
（一）开发自动化的采集装备与技术
随着多模态数据分析技术的普及与更新，高维度、多样化的数据采集工程变得更加复杂与烦琐。当前，通过使用可穿戴设备、体感交互设备等，在特定的教育环境或教育实验室中采集数据并进行分析，这样的评价方式具有一定的特定性与实验性，对于学习状态的分析存在局限性与非自然性。后续研究应通过构建深度学习数据库，搭建低成本和常态环境下的自动化采集设备，结合各类行为数据与整个学习过程中累积产生的日志类环境数据，实现自动化数据标注与注释，为深度学习评价提供坚实的技术支撑。
（二）建设跨时空的多模态预测模型
就模型而言，科学建模的前提是具有形成、评价与支持的情境，需要在研发、反馈与运行的过程中解决问题，并揭示事物的发生机制。因此，需要整合多种方法，而非单一的解决方法。在融合式的教育应用环境下（如学前教育、基础教育、职业教育等），探索多模态数据与深度学习更高阶的关系映射，并进行类推以形成系统化的预测模型。现今较为普及的多模态数据呈现分布式和散状的状态，需要整合物理环境与网络环境的学习轨迹与交互进行分析，最终实现对跨时空学习过程中的脑、行为、认知、环境、技术等关系的立体建模，预测影响深度学习真实发生的生理信号及其行为变化。
（三）探索深度学习评价的教学应用策略
当前教育评价领域主要以单模态分析与可视化技术为主，所开发的数据采集与分析技术主要集中于学习者在学习活动中的行为数据、操作日志与交互数据等，导致学习分析结果主要停留在学习成绩、资源使用时长及社交数据等外显行为的表征上，较少涉及学习情绪、学习思维、学习认知与学习心理等内隐行为的分析（张志祯,等,2021）。近年来，随着机器学习、神经网络分析与大数据挖掘技术等的快速发展，非结构化数据（如图像、影像、文本等）可被识别与解析，程序性工作被机器简化（高巍,等,2020）。通过利用现有的成熟技术开发全自动化、可拆解的深度学习评价分析工具，并与不同学段、不同学科的教学场景有机融合，提升深度学习课堂的学习体验，与当下课堂学与教现实紧密契合，提升个性化的学习感知与学习反馈，实现深度学习评价分析与教学场景的动态转化。
（四）探索统合学习科学与计算机科学的深度学习机理
深度学习评价是基于交叉学科形成的全新领域，在学习科学与计算机科学中同时开展关于多模态数据分析的研究探索。但两者对于“学习”的解释却不尽相同（魏华燕,等,2019）。学习科学研究的是实现学习者认知和思维转化的学习；计算机科学则是通过计算机模拟和仿真人的学习（如AlphaGo等），强调从数据中寻找学习的规律，并对未知的数据进行预测建模。而学习的过程既需要脑科学和心理学的测量，也需要基于人工智能的自动化分析。为了加大深度学习评价分析的可持续性，需要为两大学科建构共同的话语体系，共筑研究成果共享平台，探索深度学习的内在机理，同时为创新学习理论夯实基础。
（五）提高教育决策与教育治理的智慧化
深度学习评价可以为改进教育决策提供数据依据，为教育管理提供符合现实需求与未来发展的决策参考（胡航,等,2021），以实现从教育数据到教育意义的分析和阐释。另外，教育发展的核心应是教育，而非技术（黄琰,等,2020）。智慧化的教育决策与教育治理，应紧紧围绕教育过程，以创建理论解释与发展教学理论为价值导向（黄平,等,2013）。
四、
结束语
参考文献
艾兴，张玉.2021.从数字画像到数字孪生体：数智融合驱动下数字孪生学习者构建新探[J].远程教育杂志，39（1）：41-50.
戴歆紫，王祖浩.2017.国外深度学习的分析视角及评价方法[J].外国教育研究，44（10）：45-58.
杜爽，飞云倩，何牧，胡航.2020.大学生“早起”和“借阅”行为与学习绩效的关系研究[J].中国远程教育（11）：47-58，77.
段伟文.2018.数据智能的算法权力及其边界校勘[J].探索与争鸣（10）：92-100，143.
高巍，徐仕晔.2020.基于视频分析的反思性教学模型优化研究[J].教师教育学报，7（1）：86-92.
顾小清.2020.玩转教育大数据，破解“学习如何发生”——浅析数据驱动下的学习分析技术[J].教育家（34）：32-34.
胡航.2017.技术促进小学数学深度学习的实证研究[D].东北师范大学.
胡航，杜爽，梁佳柔，康忠琳.2021.学习绩效预测模型构建：源于学习行为大数据分析[J].中国远程教育（4）：8-20，76.
胡航，李雅馨.2021.学习绩效预测模型的应用：运动与课堂行为关系研究[J].中国远程教育（10）:19-28.
胡航，李雅馨，曹一凡，赵秋华，郎启娥.2019.脑机交互促进学习有效发生的路径及实验研究——基于在线学习系统中的注意力干预分析[J].远程教育杂志，37（4）：54-63.
胡航，杨旸.2020a.公共危机中在线教育的反思[J].终身教育研究，31（4）：37-43.
胡航，杨旸.2020b.深度学习：从“点”走向“变换”[J].今日教育（6）：50-55.
胡航，杨旸，飞云倩.2021.教育信息化助推教育现代化：使命、路径与策略[J].教学研究，44（1）：24-31.
黄平，李太平.2013.教育过程的界定及其生成特性的诠释[J].教育研究，34（7）：18-27.
黄涛，赵媛，耿晶，王涵，张浩，杨华利.2021.数据驱动的精准化学习评价机制与方法[J].现代远程教育研究，33（1）：3-12.
黄琰，赵呈领，赵刚，刘军，疏凤芳，李红霞.2020.教育过程挖掘智能技术：研究框架、现状与趋势[J].电化教育研究，41（8）：49-57.
牟智佳.2020.多模态学习分析：学习分析研究新生长点[J].电化教育研究，41（5）：27-32，51.
穆肃，崔萌，黄晓地.2021.全景透视多模态学习分析的数据整合方法[J].现代远程教育研究，33（1）：26-37，48.
田爱丽.2020.综合素质评价：智能化时代学习评价的变革与实施[J].中国电化教育（1）：109-113，121.
王小飞，闫丽雯.2020.政府教育智库服务教育决策的路径依赖与突破[J].中国高教研究（11）：38-42.
魏华燕，余亮，弓潇然.2019.混合式教学情境下生成性资源的进化与促进策略[J].教师教育学报，6（5）：66-74.
徐蕊玥，周琴.2019.基于知识图谱分析的国内外智慧教育研究热点[J].教师教育学报，6（6）：39-46.
杨现民，赵瑞斌.2021.智能技术生态驱动未来教育发展[J].现代远程教育研究，33（2）：13-21.
张琪，王丹.2021.智能时代教育评价的意蕴、作用点与实现路径[J].中国远程教育（2）：9-16，76.
张生，王雪，齐媛.2021.人工智能赋能教育评价：“学评融合”新理念及核心要素[J].中国远程教育（2）：1-8，16，76.
张志祯，齐文鑫.2021.教育评价中的信息技术应用：赋能、挑战与对策[J].中国远程教育（3）：1-11，76.
McAfee,A.,Brynjolfsson,E.,&Davenport,T.H.,etal.(2012).BigData:TheManagementRevolution.HarvardBusinessReview,90(10):60-68.
作者简介
胡航，博士，副教授，硕士生导师，西南大学教师教育学院卓越教学中心主任，学习教学与智能化研究中心副主任（400715）。
杨旸，硕士，讲师，本文通讯作者，柳州职业技术学院（545006）。
基金项目：全国教育科学“十三五”规划2019年度西部项目（国家一般）“深度学习发生机制、应用与评估研究”（项目编号：XJA190286）。