您好!欢迎进入中国教育装备行业协会官网。
装备研究
当前位置:首页 - 装备研究 - 研究成果 - 正文

智能装备支持下的学习绩效预测模型构建与应用

来源:《中国教育装备行业蓝皮书(2021版)》发布日期:2022-01-21浏览人数:178

  胡航 杜爽 康忠琳

  随着教育大数据的广泛应用,学习预测研究已成为学习分析技术的一个重要研究方向。目前,学习分析技术已从原理探究、应用价值等理论研究转向基于教育大数据的学习行为分析、数据可视化、学习预测等实际应用研究(胡航,等,2020)。尽管学习预测研究有了一些初步成果,但以优化学习过程和改善学习成效为目标的学习预测研究还未在教育领域得到深入实践和应用,距离准确和大规模的应用还较远(牟智佳,等,2017)。如何建立具有较高预测性能,兼具易读性、易操作性的学习预测方法,并依据预测结果进行差异化干预与推荐的应用成为亟待解决的问题。本研究采用深度神经网络结合机器学习分析技术,运用多场景学习行为数据,构建学习行为诊断模型,以期为学习绩效预测分析和学习干预提供指导和参照,并基于学习绩效预测模型,依据不同评判策略对运动、课堂行为与学习绩效进行关系挖掘,建立预测模型应用研究框架,通过多类行为数据、多机器学习模型的组合应用模式,实现两种学习行为对学习绩效的预警。

  一、数据信息采集

  本研究以C市S高校大学生作为研究对象,经过了两次数据采集,数据采集的时间为一学年。数据采集有五个来源:一是学习场景数据,来源于在线课程学习数据,包括学校学习平台中的学习日志数据;二是生活场景数据,来源于图书借阅数据和早起数据(杜爽,等,2020)、图书馆业务日志和一卡通消费日志数据;三是学习绩效数据,来自于学习平台的在线测试成绩和学校教务系统中对应课程的期末笔试成绩;四是运动日志数据,通过运动移动端应用程序的后台采集学生一学期的运动数据,包括每次跑步的时间、里程等信息;五是课堂学习数据,通过智慧教室监控系统采集学生上课过程,录制一学期(12周)一门人文社科类必修课程的课堂视频,共有23个班级,每周录制两节课90分钟视频,共采集到约420小时的课堂视频。

  数据采集过程中所选用的智能装备如下:

  (1)课堂教学分析系统。本研究所采用的课堂教学分析系统的教学评估功能分为校级评估、班级评估、个人评估。教学评估功能针对站立、举手、阅读、书写、玩手机、趴桌子六种行为,针对高兴、困惑、难过、害怕、愤怒、厌恶、惊讶七种表情。校级评估分为今日关注度、重点关注班级、近30日统计(关注度、行为、表情统计)三个模块。在近30日统计模块,支持鼠标停留显示详细统计分值和时间。在重点关注班级模块点击班级名称可跳转至班级评估。

  班级评估分为班级检索与选择、统计分析、历史课堂评估三个模块。其中班级检索与统计可以选择查看的班级,同时支持选择两个班级进行班级间课堂行为的对比,对比结果显示在统计展示模块。统计分析模块可以针对近30日、14日、7日的班级行为按照专注度、行为、表情三个维度进行趋势性展现,支持鼠标停留显示详细统计分值和时间。历史课堂评估模块针对单节课堂给出专注度评分、正面行为统计次数、负面行为统计次数三个维度的信息,具体课堂可跳转到该堂课的课堂评估。

  课堂评估模块分为课堂检索、课堂信息展示、统计分析三个模块。其中课堂检索模块可以针对班级、日期、课程进行筛选。课堂信息展示模块展示课程名称、班级、人数、任课教师等信息。统计分析模块含有时域趋势图和统计雷达图,分别针对专注度、行为、表情按时间排序进行趋势统计,同时针对行为和表情给出次数雷达图。在统计雷达图中点击统计信息可以跳转到课堂抓拍记录界面。

  (2)运动健康管理App。该App利用互联网技术帮助学生在移动端完成跑步运动、考勤签到、场馆预约、学期体测等。学校管理人员可从网站中登录“学校管理后台”,进行相应的运动设置以及数据信息查看。

  (3)学习平台。用户可以在平台上自助查阅学习资料、下载电子文献、学习学校课程、进行小组讨论等。教师注册后,可进行课程建设和教学管理,学生可通过平台选择海量、丰富、免费的数字化教育资源进行在线学习。在线课程学习数据、学习绩效数据等均来自该平台。

  二、学习绩效预测模型构建及应用

  (一)学习绩效预测模型的构建

  预测变量分为倾向性指标和行为表现指标两类,倾向性指标为学生的基本信息,包括性别、院系、专业;行为表现指标包括学习场景(在线课程)、生活场景(早起行为、借阅行为),预测结果为学习绩效变量。本研究将两类指标进行结合,采集两类指标所对应的预测变量值,在后期数据处理阶段对其进行筛选。具体预测指标如表1所示。

  表1 预测变量

  (二)学习绩效预测模型的应用

  1.运动行为预测指标的构建

  研究运动指标主要包括运动次数、平均跑步时间、平均里程数、运动规律四个指标。

  运动次数:在一学期12周中一名学生参与跑步的次数累加的平均值。

  平均跑步时间:在一学期12周中,学生每次跑步用时(秒)的平均值。

  平均跑步里程数:在一学期12周中,学生每次跑步距离(米)的平均值。

  运动规律是根据运动次数的分布计算的熵值,运动规律值反映每周学生参加运动的连续性,其中fjm为第m个学生第j周运动次数在n个周运动总次数中的比重,如式5所示。

  运动规律指标的取值范围为0—1,取值越高说明学生每周的运动越有规律。

  2.课堂行为预测指标的构建

  课堂整体教学效果的行为特征指标有三个:专注次数、参与度、专注时间。专注次数:将视频以45分钟为一个周期,每隔2.5秒进行关键帧提取,一节课中共有1 080次识别。识别每个关键帧中学生头部的变化角度,如果头部角度的垂直区间和水平区间均在0°—60°,说明学生是在直视或仰头,可统计为有1次专注数。

  参与度:如果头部角度垂直区间大于0°—60°或水平区间大于0°—60°,说明学生是在低头或扭头,识别出学生处于非倾听状态,同时统计教学时间内无法识别的次数,运用式6得到学生的课堂参与度指标。

  专注时间:以分钟作为单位,若在关键帧识别到整个班级的专注率高于75%,则关键帧之间的时间间隔统计为专注时间段。

  3.依据决策树与规则模型关联研判,构建行为预警策略

  基于决策树。采用Modeler决策树中C&R(分类和回归)对两种行为特征值生成运动与课堂两种行为的预测分类结构图。根据运动行为生成的决策树分类结构图,可以直观地分析出运动行为指标与学习绩效之间的关系。

  基于规则模型生成运动与课堂行为规则集。采用贪婪算法构造规则集,能进一步简化规则集规模,生成的规则集按照分类比例进行排序,比例越高说明代表的规则信度越高。

  依据上述两种关联结果,生成预警阈值。每种行为类型分别有两个阈值点,分为三个阈值区间,同时可将三个区间对应于三种行为等级。确定行为阈值等级,使得对行为判断的依据更加明确和易于操作,为构建行为预警策略提供依据。基于预警阈值,构建行为预警策略。将运动与课堂行为的行为特征值按每周的平均数绩效统计,并按照预警阈值区间分别构建12周A、B类学生的行为预警,表中所在区域的颜色越浅行为等级越低,颜色最深的区域代表行为等级为“优秀”(见表2、表3)。由表2和表3可以看出,A类学生无论是运动还是课堂行为特征值均有较高的等级,说明成绩好的学生在课堂中更加专注听课,而且运动越好的学生可能会有更好的学习绩效。

  表2 A类学生运动与课堂行为特征12周预警

  表3 B类学生运动与课堂行为特征12周预警

  三、研究结论

  (一)早起、借阅行为的认知规律及关系

  依据已有数据采用非监督学习分析方法,将学习个体划分成最具代表性的行为数据集合,通过聚类和关联分析后发现不同行为特征的表现有显著差异。在早起行为中整体的早起规律较高,且专业必修课和公共必修课成绩较好,这一方面说明养成良好早起习惯对学习绩效有正面的影响,另一方面反映出学习成绩较好的大学生表现出更好的早起规律和更早的早起时间。从平均早起时间上对学习绩效进行分析,早起18分钟,学习成绩的平均绩效提高2.5分左右,这从侧面反映出早起时间与学习绩效的相关程度。虽然早起次数可能是因为8点上课的被动安排,但早起时间是由大学生自己把控的。早起型的大学生不仅有更多时间用于学习活动的开展,提升元认知体验效果,还能促进自我认知的重新定位与评估,增强元认知监控能力。

  在借阅行为的借阅量、平均借书时间、阅读深度三个属性中,学习绩效较好的大学生表现出更多的借阅数量、更集中的借阅类型和更短的借阅时间。特别是借阅时间更短的学生在学习中表现更加突出。其中一种合理的解释是借阅时间越少阅读速度越快,而阅读速度较快反映出对阅读内容的快速理解,比阅读总时间呈现出更丰富的内涵。借阅行为与学习绩效的相关关系反映出行为与认知、认知与学习绩效的间接影响关系。

  通过早起和借阅行为的分析,建议大学打造深度学习环境,激发大学生自我学习能动性。优良的学习场所能促进大学生深度学习和深度思考,增强自我效能和元认知体验(胡航,等,2020)。一是打造晨读空间,不仅能为大学生提供一个良好的深度学习氛围,而且晨读活动也可引领大学生养成规律的早起习惯,逐渐提高大学生自我规划能力和自我约束能力。二是提供智能化学习体验场所,提升数字化资源服务能力,推出符合大学生学习习惯的多种借阅方式,顺应大学生阅读方式的改变。如按需提供数字资源推送服务,将大学生需要的电子图书发送至手机或平板电脑;或直接提供采用电子墨水屏的阅读器借阅服务,降低由长时间使用普通显示屏导致的近视发生风险。

  (二)运动与课堂行为对学习绩效的影响程度

  采用决策树和规则算法生成具体阈值区间,作为行为预警可视化的判别依据,预测结果易读性强、便于理解,结果能对行为判断进行等级分类。例如一名学生课堂行为中平均专注时间及平均专注次数大于某个阀值,那么模型在一定的预测准确率下可预测该学生的学习绩效是A类还是B类,同时可从预警图中发现该学生一学期每周各个行为特征在预警区间的行为等级,教师可依据此行为等级对该生进行针对性的、及时的课堂行为预判和干预。

  学习行为预警策略在运动与课堂行为中的应用,无论是运动的时间、强度、规律,还是课堂行为中专注的次数、时间、比例,都会对学生的学习绩效产生影响。学习行为预警策略结合多类学习行为指标共同预警的效果比单一采用行为指标或学习成绩有更好的预测效果,将预警结果用于教学管理人员对学生具体行为的指导和干预中,可有效增强学校整体的教学管理能力。

  在课堂行为预警策略应用中,教师可以及时发现学生的学习行为共同问题,如若发现A、B类学生在行为预警模型中第6周均出现了等级下降的情况(也就是有一个明显的下降趋势),教师可以在第5—6周的课堂上进行及时的课程提醒和指导;同时也可以针对不同类型的学生进行区别化、个性化的调整,若B类学生专注度和专注时间前3周均处于“未达标”等级,教师可以在开学时调整教学设计和教学方式,让这部分学生尽快进入良好的学习状态。

  (三)学习行为表现指标有较强预测能力

  学习绩效预测的目的不仅是通过计算机计算出较高准确率的分类结果,更重要的是通过预测结果为学习者提供服务,促使学习者优化学习路径、改善学习成效。基于多场景数据的预测模型能较为全面地反映学习绩效与场景中不同学习行为之间的关系,不仅预测的准确率、效果会有较大提升,而且预测诊断后可以基于结果为学生提供不同学习场景中学习策略的改善意见。如一名学生经过预测模型诊断为A类型后,说明该学生有较好的学习能动性,生活规律一般,则可以通过在生活场景中鼓励该学生定制学习规划表、推荐与学科专业相关的图书,在学习场景中推荐相关网络课程、提供数字化学习资源等手段,为学生提升学习效率、改进学习方法、提升学习效果提供帮助和指导。随着智能影像分析、情感识别等技术的日益完善,未来可以获取到学习者更多场景的数据,如在课程学习过程中内在心理状态的变化数据,通过学习表情、学习情感、学习注意力等方面信息的收集整理,从心理学视角分析学习行为和状态,探究更多影响学习结果的因素。

  (四)学习绩效预测机制与教育价值

  基于学习行为预测的应用之一,学习行为干预一般是根据被预测的等级进行对应级别的干预措施,如对预测为学习较差类的学生进行级别较大的干预(Perelmutter,et al,2017),然而由于预测等级的具体原因不清晰,常以一类学生为单位进行集体干预。

  而本研究提供的学习行为诊断模型,可以反过来从判断结果中找到每个学生学习行为中的问题和薄弱点,避免采取以群体为单位的粗颗粒度干预方式,从而为每个学生提供针对性的干预措施,使个性化的“精准干预”成为可能(胡航,等,2019)。如一名学生经过模型诊断为B类型后,发现平均早起时间和网络课程学习访问量低于某个预设阈值,则触发B类干预策略。因此教师可以针对该学生的具体情况采取鼓励早起学习、增加网络课程学习时间等干预措施,从而激发和调动学生的学习意识和学习积极性,同时也为教育政策制定、教学资源规划和教学方法实施提供决策支撑。

  同时,从教育决策来看,大数据分析与预测技术的发展为教育决策的制定提供了新的契机,同时也带来了新的挑战。大数据、智能技术的发展,特别是面向异构大数据的新一代统计推断体系,以及适用于噪声数据挖掘方法、预测方法的不断完善,为学校教育管理者、教师分析教育现象和结果之间的联系提供了更加可靠的数据基础,从而增加教育决策的成功率,降低教育决策的风险和成本。

  (五)学习绩效预测模型的应用前景

  智能装备可以有效支持教育领域相关研究。本研究的前期数据采集来源于课堂教学分析系统、运动健康管理App以及学习平台等智能装备。除了通过相关数据的采集,不少学者还通过智能装备支持下的相关实验等进行教育领域的探索研究。可见,智能装备在教育研究领域中的应用越来越广泛,发挥着重要作用。

  学习行为与学习绩效关系的揭示是一个涉及脑科学、认知科学、教育学的交叉研究,需要更多实证和理论探索,从生理、认知和心理三个层面达到相互印证的统合关系,才能说明学习的发生有深度、有意义(胡航,等,2019)。通过对学生行为数据的分析,行为预警策略能较好地对课堂行为进行分析和评测。应用学习绩效预测模型也能较准确地预测运动与课堂行为特征对学习绩效的影响,但基于现有的数据与方法仅能呈现行为与学习绩效的关系,还未能得出运动、课堂行为之间的联系,特别是运 动对课堂行为或是运动对学习绩效产生影响的其他中介效应未能从模型中反映出来。因此需要更多模态、场景的学习数据来检测模型对数据变化的容忍度,减小模型对不同应用场景、学习行为类型中数据噪声的干扰(C.Herrmann,et al,2016),通过不断调优预测算法与应用策略来提高整体学习绩效预测模型的鲁棒性,实现高效课堂管理与视频分析技术的融合,构建学生的综合数字画像,研判学生的学习与认知水平。

  (作者单位:胡航,西南大学学习与教学智能化研究中心;杜爽,四川外国语大学语言智能学院;康忠琳,西南大学教育学部)

  参考文献

  [1] 胡航,李雅馨,郎启娥,等. 深度学习的发生过程、设计模型与机理阐释[J]. 中国远程教育,2020(01):54-61,77.

  [2] 牟智佳,武法提. MOOC学习结果预测指标探索与学习群体特征分析[J]. 现代远程教育研究,2017(03):58-66,93.

  [3] 杜爽,飞云倩,何牧,等. 大学生“早起”和“借阅”行为与学习绩效的关系研究[J]. 中国远程教育,2020(11):47-58,77.

  [4] 陈子健,朱晓亮. 基于教育数据挖掘的在线学习者学业成绩预测建模研究[J]. 中国电化教育,2017(12):75-81,89.

  [5] 胡航,李雅馨,曹一凡,等. 脑机交互促进学习有效发生的路径及实验研究:基于在线学习系统中的注意力干预分析[J]. 远程教育杂志,2019,37(04):54-63.

  [6] PERELMUTTER B, MC GREGOR K K,GORDON K R. Assistive technology interventions foradolescents and adults with learning disabilities[J]. Computers in Education, 2017(114):139-163.