随着计算机网络技术以及智能手机等硬件设备的普及, 高校大学生课堂问题行为越来越多元化。旷课、迟到、早退等行为^[1]日益严重, 甚至出现了有偿替课的现象。除此之外, 到课的学生, 人到心未到, 精力不集中, 在课上睡觉、玩手机等行为越来越难控, 严重影响了教学秩序和质量。早在上世纪80年代, 课外书报、磁带随身听进入课堂后, 就对大学生课堂行为产生了很大的影响, CD机、MP3以及电子词典和掌上游戏机也紧随其后^[2]。近年来, 随着智能手机、移动网络和手机游戏的高速发展, 课外诱惑越来越多样, 一些学生自我约束能力差, 再加上部分教师管理疏松, 大学生课堂行为更加复杂和难以控制, 课堂秩序和学风受到破坏, 教学效果受到影响, 人才培养质量难以保证, 学生的身心健康受到不同程度的妨害^[3-4]。在此背景下, 对大学生课堂行为进行分析和管理显得尤为必要。

目前, 大学生课堂行为分析主要集中在对学生的个别访谈、问卷调查等形式^[5], 这种方式具有一定的主观性, 不能客观和全面的反应问题, 对学生课堂表现缺少量化的评估。在大学生课堂行为管理方面, 课上点名成为主要的考勤方式^[6], 这种考勤方式效率低下, 尤其不适用于课堂容量较大的教学班级, 如某一门课程两个专业四个班一起上课, 学生共157人, 点一次名大概需要10 min。再加上点名时存在学生替人答到, 甚至替课现象, 难以鉴别。而签到、课堂作业等方式, 均存在同样问题。

随着信息技术的发展, 一些智能化工具也被应用于考勤, 如电子考勤软件^[7]、指纹识别设备等。近年来, 深度学习技术得到迅猛发展和普遍应用, 利用深度学习, 进行人脸识别, 实现考勤, 是一种应用方便, 准确率和效率高的方式, 因而被一些研究者所关注^[8]。然而, 这些方式只是单一的应用于考勤, 管理能力较弱, 不具有学生课堂行为分析功能, 尚未在大学生课堂管理中应用。

基于此，本文将深度学习技术应用于人脸识别, 构建大学生课堂行为分析模型, 实现考勤和学生听课专注度分析等功能, 并开发大学生课堂行为分析系统。本文研究成果一经推广, 将极大的提高学生课堂行为的监管效率与质量, 有力的杜绝大学生旷课、迟到、早退、替课、替考等不良行为, 对于教学质量的提高具有重要意义。

1 大学生课堂行为分析模型

建立大学生课堂行为分析模型, 并以此构建大学生课堂行为分析系统, 实现自动化、高效的大学生课堂行为分析, 为后续的学生平时成绩评定、课堂教学评估、教学管理等提供有效方法和有力支撑, 也为教育教学改革提供支持。大学生课堂行为管理的目标是使学生能够全身心投入课堂, 做到“身到”与“心到”, 该模型核心部分由对应的学生课堂考勤分析和学生课堂学习专注度分析两大模块构成, 如图 1所示。

模块的功能与原理描述如下:

1) 学生课堂考勤分析模块。对课堂现场到课学生进行面部搜索与智能识别, 记录学生到课情况, 实现自动化考勤。

针对某个班级, 采集某一次课的课堂现场图像, 在完成图像分割后, 基于深度学习算法, 分别对该班级每一位学生进行人脸搜索和特征提取, 并完成学生身份智能识别, 统计每一位学生出勤情况, 录入数据库, 供生成考勤报告。

2) 学生课堂学习专注度分析模块。在一节课中以一定时间间隔(可根据具体情况设定)对学生进行面部搜索, 实现高效和自动化的智能学生课堂专注度分析。

针对某个班级, 采集某一次课不同时间段的课堂现场图像, 在完成图像分割后, 基于深度学习算法, 分别对该班级每一位学生进行人脸搜索和特征提取, 并完成学生身份识别, 统计每一位学生在不同时间段抬头听课次数, 以此为依据, 生成该名学生的听课专注度, 并录入数据库, 供学生课堂专注度报告生成。

2 大学生课堂行为分析系统 2.1 系统框架

本文基于大学生课堂行为分析模型, 构建了软件系统, 该系统以课堂现场图片或视频为输入, 实现学生出勤率和课堂专注度分析与记录, 为大学生课堂行为监管和促进大学生积极的课堂行为提供高效、易用的工具, 系统构成如图 2所示。

2.2 系统实现

该系统由图像采集与预处理、学生信息数据库、学生课堂行为分析以及结果输出等功能模块构成, 下面分别介绍各模块组成与功能。

2.2.1 图像采集与预处理

根据图像用途, 通过两种方式进行学生人脸图像采集, 具体如下:

1) 学生人脸样本图像采集, 用于建立学生人脸数据库, 作为基于深度学习的人脸识别样本库, 需要采集每一个目标学生的正面免冠未经美颜的头像照片, 可由教务系统中现有学生图像数据导入。

2) 课堂现场图像采集, 即在上课过程中分时段进行全局图像采集。采集得到的图像经过分割等预处理, 用于后续学生考勤和学生课堂学习专注度分析。

2.2.2 学生信息数据库

学生信息数据库由相互共享信息的两部分构成:

1) 学生人脸数据库用以存储和管理对学生进行课堂行为分析的基础样本。在进行学生人脸样本图像采集之后, 对每一个样本进行人脸区域识别、关键特征提取、学生信息匹配, 以此构建人脸数据库。

2) 学生信息数据库用以存储和管理学生的基本信息(表 1)和课堂行为信息(表 2)。学生基本信息包含学生学号、班级、姓名等, 可与学籍系统共享, 课堂行为信息是以某一次课程为单元的学生课堂行为信息。数据库字段结构可根据具体应用进行扩展。

2.2.3 大学生课堂行为分析

该模块是系统核心部分, 主要实现课堂考勤与课堂专注度分析。

1) 通过集中搜索人脸, 进行考勤。为当前上课班级每位学生设置到课状态变量, 初始值赋为False。利用大学生课堂行为分析模型, 对目标图像进行人脸搜索, 包括人脸区域检测与学生身份识别, 当搜索到某位学生时, 更新该名学生的到课状态变量为True。

2) 通过间隔人脸搜索, 进行学生上课专注度统计。算法流程如图 3所示。

首先为当前上课班级每位学生设置计数器, 设置系统每隔一定时间段(如1 min)采集一组上课期间的教室现场图像(也可从离线课堂视频中间隔截取图像), 每组3张, 每张相隔3 s。利用大学生课堂行为分析模型, 对每组目标图像进行人脸搜索, 包括人脸区域检测与人脸识别, 在当前组图像中搜索到某位学生时, 停止在该组对该生的搜索, 并将该名学生的计数器变量增加1, 继续依次搜索其他学生, 当前课程结束后, 可根据公式1, 计算每位学生的听课专注度。

$ {\rm{classDegree = stuCounter/groupCounter}} \times 100{\rm{\% }} $

(1)

式中, classDegree表示当前学生的课堂专注度, stuCounter表示系统统计得到的该名学生上完这次课后的计数器变量数值, groupCounter表示这次课学生专注度统计的次数, 即图像采样的分组数。

2.2.4 结果分析与生成

在完成学生课堂行为分析后, 从数据库中分别提取某一次课的学生课堂考勤统计数据与学生课堂专注度数据, 根据后续需要进行统计分析, 计算该次课程该学生的专注度数据, 并将结果输出, 以供学生课堂行为评估。

2.3 原型软件开发与测试

基于C++/MFC框架开发构建大学生课堂行为分析系统原型软件, 包括设计学生课堂行为分析程序、学生人脸数据库与学生课堂行为数据库等。

在系统运行时, 首先通过读取并识别学生人像照片完成学生人脸注册。该原型软件支持离线和在线进行课堂考勤和专注度分析, 并可以进行结果的实时显示。用户可拍摄和录制课堂现场, 进行离线分析, 也可连接教室内安装的监控摄像头, 进行课堂实时分析。为克服考勤进行时, 学生未抬头而造成考勤失败的问题, 系统提供人工签到功能, 即单独采集指定学生的图像进行识别, 如某位学生姓名出现在未出勤学生处, 而其确已到课, 该学生可在课间申请通过人工签到功能进行补充考勤。本文在某班级招募20位志愿者作为受试者进行课堂测试, 并进行了编号, 所有志愿者随机分布于教室中, 如图 4所示。

首先每隔3 s依次采集整个教室现场图像用于考勤, 表 3显示了考勤结果。表中第一行表示考勤次数, 4表示人工签到, “是”表示检测到出勤, “否”表示未检测到出勤。

由考勤结果可以看出, 三次自动考勤可以识别课堂中的大部分学生, 在自动考勤过程中, 会出现部分学生没有被识别的现象, 原因在于三次自动考勤执行时, 这些学生均没有抬头, 通过对其进行人工签到后, 最终所有受试学生均签到成功。

接下来进行课堂专注度测试。对某次授课过程选取一段时间进行监测, 本文随机选取35 min, 每隔1 min采样1次, 图 5展示了采用本研究所开发的大学生课堂行为分析系统原型软件进行学生课堂专注度监测的情况, 该系统可实时输出分析结果。

表 4显示了课堂专注度分析结果, 从结果来看, 20名学生表现出了不同的课堂专注度。其中, 坐前排的学生大多呈现出较高的课堂专注度, 而后排学生专注度相对较低, 在实际授课过程中, 任课教师反映出前排学生的注意力更集中和持续, 而后排学生低头现象较为普遍, 这与本系统的学生课堂专注度分析结果一致。

3 结论

本文基于深度学习技术建立了人脸识别模型, 对大学生课堂行为进行分析, 主要涉及学生出勤与课堂专注度两个关键方面, 并开发相应分析系统, 以辅助教师对学生的课堂行为进行管理。一方面, 对课堂到课学生进行面部搜索与智能识别, 记录学生到课情况, 实现自动化考勤, 并自动生成考勤报告；另一方面, 在一节课中以一定时间间隔对学生进行面部搜索, 实现高效和自动化的智能学生课堂专注度分析。利用该系统, 只需采集若干张课堂现场照片, 即可完成学生到课与听课情况分析, 并生成分析报告, 配合以相应的教学模式与管理制度, 即可实现对大学生课堂行为的高效监督与管理。由于时间和实验条件所限, 目前仅进行了有限的测试实验, 将系统与标准化教室监控系统互联, 实现实时大学生课堂行为在线分析, 并进行大量实验, 有待后续深入研究。