收稿日期:2016-06-17
基金项目:南京农业大学重点教改项目“教师教学质量综合评价体系建设研究”(2015Z012)
作者简介:
吴虹雁, 女, 南京农业大学金融学院教授, 博士。研究方向:会计理论与方法
Construction of Evaluation Standard and Evaluation System of Undergraduate Teaching Quality of Tertiary Faculty
Nanjing Agricultural University, Nanjing 210095, China
Abstract: According to the Ministry of Education Document "Evaluation Scheme of Excellent Undergraduate Program for Common Colleges and Universities", focusing on the key links influencing the undergraduate teaching quality, and with due analysis on the principles of evaluation standard and evaluation system construction covered in the MOE document, this study conducted a questionnaire survey and attempted to set up an evaluation criterion and appraisal system consisting of 4 dimensions-teaching content, teaching method, teaching attitude, and teaching quality. The initial 4 dimensions and 18 appraisal items derived from elaborating on the the MOE evaluation system were set up aiming at the teaching quality of faculty, and then the questionnaires concerning the initial proposal was analyzed and our proposals were verified on their validity and reliability, and the final conclusion of 4 dimensions and 15 appraisal items was reached.
Key Words: Colleges and Universities Teachers Undergraduate Teaching Quality Evaluation System
高等教育质量是保证高等教育健康发展的重要因素之一。对政府和学校来说,高等教育质量研究既能提高高等教育政策的针对性也能明确学校的办学目标和任务。教育质量标准是进行教学质量评价和教育管理的前提。然而,许多高校在标准的设立上仍然存在内在表述不规范等问题,如定量标准缺少统计常模,定性标准则阐述不明,标准适用不规范,缺乏权威性、共识性、分类性,等等。因此需要建立合乎要求的本科教学质量标准,为高等教育发展提供质量保障。本文采取理论研究和实践论证相结合,定量分析与定性分析相结合的研究方法,在多角度对高等学校教学质量的各种影响因素进行研究和分析的基础上,根据调研问卷统计结果,构建了由“教学内容、教学方法、教学态度、教学质量”四个维度组成的高等学校本科教学质量评价标准体系。
一、本科教学质量评价体系的构建原则与方法
教学质量评价指标体系是根据可测或可观察的要求而确定的高等教育评价准则,应具有具体的、可测量的、行为化等特点。因此,高等学校本科教学质量评价指标体系的构建应考虑被评价客体属性有关内涵的分解,把握具体的、可测的、行为化的标准,并以可操作性为原则。从评价目标到评价指标,由总目标到不同层次的分级指标,必须经过逐层分解,从而构建整个教学质量评价指标体系。如图 1所示。
教育的首要功能是促进个体发展,高质量的高等教育应能够促进学生充分发展,让学生满意。高等教育质量评估的重要环节之一是学生评价,应将学生评价内容纳入高校教育质量评估指标体系。学生参与高等教育评价时,主要通过其对所在高校提供的与教育相关的各方面服务的满意水平来体现。因此,融入学生评价的高等教育质量评价指标主要体现为学生“满意度”的评价。“满意度”的衡量通常包括“对资源环境的满意度”与“对学校管理的满意度”两个方面[1]。其中,“对资源环境的满意度”包括“对物质资源(如图书馆资源、实验室设备等)的满意度”“对学习课程的满意度(如课程设置、师资力量、教材选择、学习资料等)”“对教师质量的满意度(如教学质量、授课方式、教学内容、课件等)”。“对学校管理的满意度”主要包括“对教学管理的满意度(如课程安排、选课机会、考试组织、教学评价等) ”和“对学校后勤服务的满意度(如食堂伙食、宿舍条件、上网速度等)”[2]。本文着重从影响高校教师教学质量的关键影响因素入手,重点调查大学生对高等学校教师教学质量评价的理解与认识,通过对大学生以及高校教育管理工作者有关高等教育教学质量评价的调研与分析,梳理出较为科学、合理的高校教师本科教学质量评价指标体系,为高校教务管理部门考核教师教学质量提供理论与数据支持。
考虑到教师教学质量标准应是一种具体的、可测量的、行为化的评价准则,是根据可测或可观察的要求而确定的教育质量评价内容,评价指标体系的构建应考虑被评价客体属性及有关教育质量评价内涵的分解,从目标到指标,由总目标到不同层次的分级指标,必须经过逐层分解分析。依据教育部《普通高等学校本科教学工作优秀评估方案》,本文首先明确高等学校教育质量评价指标体系的构建原则,并遵循具体的、可测量的、行为化的设计原则,建立高等学校教师教学质量评价标准与评价指标,具体内容包括:办学指导思想、教学条件、师资队伍、专业建设、实践教学、育人环境、教学改革、教学管理、教学效果、办学特色等。作者借鉴现有相关研究成果,利用文献资料法、专家讨论法等对高校教师教学质量综合评价量表进行分析,构建了包含教师教学内容(教师“教什么”)、教学方法(教师“如何教”)、教学态度(衡量教师教学质量的软性指标)和教学质量(教学效果“怎么样”)等内容的教师教学质量综合评价体系[3]。如图 3所示。
二、调查问卷的统计分析与信度检验
本文采用问卷调查方法,调查分析大学生及高校教育管理工作者对高等教育教学质量评价指标的理解与认识。调查问卷内容具体包括“教师教学内容评估指标、课程教学方法评估指标、教师教学态度评估指标和教师教学质量评估指标”四个部分。
调查问卷共计发放300份,主要发放对象为南京农业大学、南京理工大学的在校大学生和学校教务处教学管理工作者。其中教师(含教学督导)发放调查问卷40份,学生发放调查问卷260份。
本次调查总计回收问卷300份,其中有效问卷276份。问卷调查相关数据初步统计结果如表 1。
表 1
表 1 教师教学质量评价指标调查问卷一级指标统计
评价内容 |
次要 |
较次要 |
一般 |
较重要 |
重要 |
教学内容A1 |
|
4 |
10 |
53 |
209 |
教学方法A2 |
2 |
39 |
40 |
60 |
135 |
教学态度A3 |
10 |
37 |
53 |
58 |
118 |
教学质量A4 |
12 |
30 |
44 |
62 |
128 |
|
表 1 教师教学质量评价指标调查问卷一级指标统计
|
为了便于进行问卷调查结果信度和效度的检验,作者将所调研问题的答案采用李克特的五点量表进行统计,以“次要-较次要-一般-较重要-重要”的方式编排,得分依次为1分、2分、3分、4分、5分,得分越高说明此项指标被认为更适合作为教师教学质量评价指标。调研问卷二级指标统计结果见表 2。
表 2
表 2 教师教学质量评价指标调查问卷二级指标统计
一级指标 |
二级指标 |
次要1 |
较次要2 |
一般3 |
较重要4 |
重要5 |
教学内容A1 |
教学目标明确,严格遵循教学大纲与教学计划A11 |
|
|
20 |
76 |
180 |
基本原理、基本知识讲授清楚、准确、逻辑严谨A12 |
|
|
|
41 |
235 |
教学内容充实,教授重点、难点适当A13 |
|
|
|
41 |
235 |
适度联系现实及前沿理论,介绍学科新进展A14 |
|
20 |
21 |
55 |
180 |
理论联系实际、教学内容与学生需求相适应A15 |
|
|
26 |
50 |
200 |
教学方法A2 |
教学思路清晰、重点难点突出,启发性强A21 |
|
16 |
30 |
50 |
180 |
注重归纳总结,培养学生创造性思维A22 |
|
10 |
26 |
80 |
160 |
采取有效方法培养学生分析、思考能力A23 |
10 |
30 |
60 |
61 |
115 |
板书繁简适度,字迹清晰、美观A24 |
|
70 |
40 |
56 |
110 |
根据课程特点,有效运用多媒体教学手段A25 |
|
70 |
40 |
56 |
110 |
教学态度A3 |
讲课投入,有热情,精神饱满,语速适中A31 |
|
20 |
56 |
80 |
120 |
认真批改作业、耐心并有效解答疑惑A32 |
10 |
56 |
60 |
45 |
105 |
教书育人,师德高尚,关心学生全面发展A33 |
20 |
50 |
56 |
30 |
120 |
注重归纳总结,因材施教,调动学习积极性A34 |
10 |
20 |
40 |
80 |
126 |
教学质量A4 |
讲授透彻,思路清晰,阐述准确、有条理A41 |
|
30 |
50 |
70 |
126 |
课堂教学纪律好,教学程序顺畅、气氛活跃A42 |
20 |
20 |
56 |
70 |
110 |
学生教学内容吸收充分,知识技能有一定提高A43 |
|
30 |
40 |
50 |
156 |
学生分析能力提升,主动独立思考问题A44 |
30 |
40 |
31 |
55 |
120 |
|
表 2 教师教学质量评价指标调查问卷二级指标统计
|
(一)量表各维度信度检验结果
信度是指问卷调查结果的一致性和稳定性,信度分析通常用于检验调查问卷对同一事物进行多次测量后所得的结果是否一致,还可以用于判断调查问卷中的不同问题是否针对同一目标。作者利用SPSS 19.0软件对本文调查问卷数据进行信度分析检验,结果如表 3所示。
表 3
表 3 量表各维度信度检验结果
评价维度 |
Cronbach’s Alpha |
项数 |
教学内容A1 |
.938 |
5 |
教学方法A2 |
.972 |
5 |
教学态度A3 |
.981 |
4 |
教学质量A4 |
.982 |
4 |
|
表 3 量表各维度信度检验结果
|
问卷统计结果显示,教师教学内容、课程教学方法、教师教学态度和学校教学质量这四类指标均在重要性百分比选项“重要”和“较重要”中占比较大,说明这四类指标是影响高等学校教学质量的重要因素。从表 3中也可以看出,本次调查问卷有关教师教学内容、教学方法、教学态度、教学质量4个维度指标的ɑ系数均大于0.9,表明问卷结果十分可信。
(二)不同维度各指标间相关性检验
相关分析是研究现象之间是否存在某种依存关系,并对具有依存关系的现象探讨其相关方向以及相关程度,是研究随机变量之间的相关关系的一种统计方法。为保证本文所构建的高等学校教学质量评价指标体系的科学性,在确保调研问卷结果可信的前提下,我们对拟构建的教学质量评价指标间的相关关系与相关程度进行了进一步检验。表 4是四个维度中有关教学内容(A1)评价维度的不同指标间的相关性检验结果。
表 4
表 4 教学内容(A1)各指标相关性分析
|
A11 |
A12 |
A13 |
A14 |
A15 |
A1 |
|
A11 |
Pearson相关性 |
1 |
|
|
|
|
|
显著性(双侧) |
|
|
|
|
|
|
A12 |
Pearson相关性 |
.715** |
1 |
|
|
|
|
显著性(双侧) |
.000 |
|
|
|
|
|
A13 |
Pearson相关性 |
.715** |
1.000** |
1 |
|
|
|
显著性(双侧) |
.000 |
.000 |
|
|
|
|
A14 |
Pearson相关性 |
.962** |
.879** |
.879** |
1 |
|
|
显著性(双侧) |
.000 |
.000 |
.000 |
|
|
|
A15 |
Pearson相关性 |
.888** |
.814** |
.814** |
.924** |
1 |
|
显著性(双侧) |
.000 |
.000 |
.000 |
.000 |
|
|
A1 |
Pearson相关性 |
.939** |
.903** |
.903** |
.994** |
.953** |
1 |
显著性(双侧) |
.000 |
.000 |
.000 |
.000 |
.000 |
|
N |
276 |
276 |
276 |
276 |
276 |
276 |
**.在0.01水平(双侧)上显著相关。 |
|
表 4 教学内容(A1)各指标相关性分析
|
表 4显示,反映教学内容的各项指标与教学内容维度(A1)之间的相关系数均大于0.4,因此可以保留作者所选用的评价指标来度量教师教学质量评价体系中有关教学内容评价的维度;但是,A12与A13指标的Person相关性一致,并且A14指标的相关系数趋近于1,预示可能存在重复或无效的指标项目。作者进一步利用SPSS软件分析之后,剔除了A13和A14变量,并对保留的指标进行了相关性回归分析,相关性结果如表 5所示。
表 5
表 5 教学内容(A1)指标变量剔除后的相关性分析
|
A11 |
A12 |
A15 |
A1 |
|
A11 |
Pearson相关性 |
1 |
|
|
|
显著性(双侧) |
|
|
|
|
A12 |
Pearson相关性 |
.715** |
1 |
|
|
显著性(双侧) |
.000 |
|
|
|
A15 |
Pearson相关性 |
.888** |
.814** |
1 |
|
显著性(双侧) |
.000 |
.000 |
|
|
A1 |
Pearson相关性 |
.939** |
.903** |
.953** |
1 |
显著性(双侧) |
.000 |
.000 |
.000 |
|
N |
276 |
276 |
276 |
276 |
**.在0.01水平(双侧)上显著相关。 |
|
表 5 教学内容(A1)指标变量剔除后的相关性分析
|
经过变量剔除后的指标对教学内容维度(A1)的解释程度仍然十分可靠,并且不存在重复或者无效的指标,可以进行下一步效度检验。
对于第二个评价维度教学方法(A2)的各项指标进行相关性检验,发现指标A24和A25存在重复性,因此用SPSS软件进行分析后,对A24指标进行了剔除,余下的4个指标与教学方法维度(A2)之间的相关性均达到0.9以上,表明此部分问卷结果解释程度十分可靠,且不存在重复或者无效的指标,可进入下一步效度检验。同样,反映教学态度(A3)和教学质量(A4)的8个指标与各自维度之间的相关关系较强,且不存在明显重复或者无效的指标,可直接进行下一步效度检验。
(三)进行探索性因素分析
本文首先利用KMO (Kaiser-Meyer-Olkin)和Bartlett的球形检验系数分析,发现反映教师教学内容、教学方法、教学态度、教学质量四个维度的KMO值分别为0.692、0.815、0.815、0.868,均在0.6以上,表明效度合理;Bartlett的球形度检验概率值均低于给定的显著性水平,说明适合进行下一步的因子分析。
因子分析主要采用主成分分析法,根据因子荷载的数值进行判断,决定是否需要进行某些重复或无效项目剔除,从而判断问卷的效度水平。具体结果见表 6。
表 6
表 6 教学方法(A2)指标解释的总方差分析
成份 |
初始特征值 |
|
提取平方和载入 |
合计 |
方差的% |
累积% |
合计 |
方差的% |
累积% |
1 |
3.680 |
91.989 |
91.989 |
|
3.680 |
91.989 |
91.989 |
2 |
.200 |
4.999 |
96.988 |
|
|
|
3 |
.081 |
2.034 |
99.022 |
|
|
|
4 |
.039 |
.978 |
100.000 |
|
|
|
|
表 6 教学方法(A2)指标解释的总方差分析
|
以教学方法(A2)维度为例,从生成的碎石(见图 4)以及表 6解释的总方差描述中可以看出,从第二个因子开始,特征值的变化趋于平缓,这表明从第二个因子往后其他值对方差的解释度都很小,因此仅选取一个因子作为主因子是合理的。对另外三个维度(A1、A3、A4)的分析和教学内容(A2)分析结果一致,均是只需要选取一个主因子即可,并且所选取的维度效度均合理。限于本文篇幅,不赘述。
(四)最终确定保留的评价指标
经过上述分析和检验,作者认为本文拟构建的高等学校教师教学质量评价体系所包含的“教学内容、教学方法、教学态度、教学质量”4个维度是合理的,但是在拟设置的具体评价指标方面,需要做相应的剔除,保留除A13、A14、A24之外的15个指标作为高等学校教师教学质量评价的具体二级指标。
三、高等学校教师本科教学质量评价指标构建
本文为南京农业大学重点教改项目“教师教学质量综合评价体系建设研究”课题的研究成果。该课题采取理论研究和实践论证相结合,定量分析与定性分析相结合的研究方法,多角度对高等学校教师教学质量的影响因素进行分析,从高校教师的人文关怀、基础知识传授、扩展知识传授和大学生专业能力培养等四个方面分析高校教师教学质量评价维度结构,构建包含高校教师素质(预测教学质量的重要变量)、教学态度(衡量教学质量的软性指标)、教学内容(教师“教什么”)、教学方法(教师“如何教”)和教学质量(教学效果“怎么样”)等内容的高等学校教师教学质量综合评价体系,使之科学、合理、适用。课题组先对高校教师本科教学质量的评价内容与评价指标进行分解,以教师教学质量评价为目标,初步构建了4个维度、18个指标评价框架(见表 2),采用问卷调研方法调查分析大学生及高校教育管理工作者对高等教育教学质量评价指标的理解与认识。对项目组所收集的问卷调查数据,利用SPSS19.0软件进行信度分析、检验,最终确定了4个维度、15个指标的教师教学质量评价体系,如表 7所示。
表 7
表 7 高等学校教师教学质量评价指标体系
一级指标 |
二级指标 |
教学内容A1 |
教学目标明确, 严格遵循教学大纲与教学计划A11 |
基本原理、基本知识讲授清楚、准确、逻辑严谨A12 |
理论联系实际、教学内容与学生需求相适应A13 |
教学方法A2 |
教学思路清晰、重点难点突出, 启发性强A21 |
注重归纳总结, 培养学生创造性思维A22 |
采取有效方法培养学生分析、思考能力A23 |
根据课程特点, 有效运用多媒体教学手段A24 |
教学态度A3 |
讲课投入, 有热情, 精神饱满, 语速适中A31 |
认真批改作业、耐心并有效解答疑惑A32 |
教书育人, 师德高尚, 关心学生全面发展A33 |
注重归纳总结, 因材施教, 调动学习积极性A34 |
教学质量A4 |
讲授透彻, 思路清晰, 阐述准确、有条理A41 |
课堂教学纪律好, 教学程序顺畅、气氛活跃A42 |
学生教学内容吸收充分, 知识技能有一定提高A43 |
学生分析能力提升, 主动独立思考问题A44 |
|
表 7 高等学校教师教学质量评价指标体系
|
根据前文的分析和论证,运用本文拟构建的教师教学质量评价指标体系评价高校教师教学质量时,评价得分计算方法如下:
某教师教学质量评估得分$ = \sum\limits_{{\rm{i = 1}}}^{\rm{n}} {} $一级指标i权重×一级指标i评价分数。式中,i=1、2……n,n为一级指标个数。
具体表达式如下:
教师教学质量评估(评价值)=教学内容权重×教学内容评价分数+教学方法权重×教学方法评价分数+教学态度权重×教学态度评价分数+教学质量权重×教学质量评价分数。
对于高校教师教学质量各评价指标之间权重的分配,一般使用层次分析法(AHP)。AHP的基本原理是把要研究的对象看作一个大系统,通过对系统各层间多个因素进行分析,划出各因素之间相互联系的有序层次,再对每一层次的各因素进行较为客观的判断,给出相对重要性的定量标准,从而使许多模糊的标准变得科学、合理,避免人为的干扰。
本文借鉴徐薇薇(2011)的研究成果,采用黄金分割(0.618)作为标度的层次分析法对教师教学质量的维度进行权重划分。0.618法得到的权重介于Satty的9分位标度法①和1.354标度法②之间,既避免了过小的权重,又避免了权重过于集中[4]。经过计算,教学内容(A1)维度下三个指标的权重分别为:0.500,0.309,0.191;教学方法(A2)、教学态度(A3)、教学质量(A4)维度下四个指标的权重以及高校教师教学质量评价总目标下四个维度的权重分别为:0.447、0.276、0.171、0.106。具体项目的权重分配,需要根据项目评价目标、问卷调查目的并结合专家经验来对应指定。
本文倡导将高校教师教学质量信息的采集、评估结果的统计和发布均通过网络进行的现代教学质量评价的新途径,并探索运用归纳、演绎、分析、综合等逻辑方法分析教师教学质量评价数据,通过建立性质优良、科学可行的教师教学质量评价指标与评估模型,从“教学内容、教学方法、教学态度、教学质量”等四个维度对高等学校教师教学质量进行评价,评价结果可在一定程度上为完善高等教育质量管理和教育质量保障提供借鉴。
[注释] ①即根据重要性将评价指标分为1-9这9个等级,形成判断矩阵,再利用层次分析法进行分析。
②即乘积标度法,它是在层次分析法的基础上提出的一种较灵活的赋权方法。这种方法从评价指标之间的内在客观的重要性出发,以指标的实测资料为基础,对各指标进行两两比较,对重要性进行标度,重要性“相同”的指标标度均取值为1,重要性“稍微大”的指标标度取值为1.354,重要性比“稍微大”还要“稍微大”的指标标度值取为1.354×1.354,依此类推。