软件说明
简述
我们都知道,教学工作是学校工作的中心,教学质量是学校生存和发展的生命线,更是学校综合实力的反映。建立科学的教学质量评价体系以及拥有相对应的评估手段和工具,有利于学校针对教师教学活动的全过程及其结果进行测定与衡量,做出价值判断和评估,从而有利于学校强化教学管理,提升教学质量,并衍生带来教师转变教学观念,提升自身综合教学素质。
教学质量评价有助于实施教学监控,分析和诊断教学过程中存在的问题,达到不断改进教学工作,提高教学质量的目的。教学评价实质上是一个教学分析、教学监控和教学调整的过程。
教学质量评价具有导向、监控、矫正、鉴定等功能。教学质量评价的目的和标准,为教师教学指明了发展的方向。开展教学质量评价,能激发教师教学教研的积极性。同时,通过教学质量评价,检验教师的教学能力和教学水平,并将评价结果作为对教师业务考核的一个重要依据,起到积极的教育、导向和激励作用。
通过教学质量评价,收集来自各方面的信息,并及时将各种评价信息反馈给教师本人,使其正确认识自己的教学水平,明确自己的优势与不足,发现教学中存在的问题,强化、调整、矫正自己的教学行为,不断改进教学方法、教学手段,从而提升教学能力和教学水平;同时,将评价信息和结果反馈给学校领导和管理部门,使其了解学校教学状况,及时调整并做出决策,从而提高教学质量和管理水平。
教学质量评价可以科学、客观地对每一个教师不同的工作及效果给予一个不同层次的鉴定,使教师的劳动得到应有的肯定和认可,使其心理上得到满足与平衡,产生信任感、公平感和成就感,并不断激发工作热情。
教学质量评价是对教学实践的现状与预定目标之间距离的判断。进行教学评价能有效地促进被评价对象不断地逼近预定目标,达到不断改善教育环境,提高教育质量的目的。教学质量评价一般采取四个步骤:第一步为建立评价的指标体系;第二步为组织人员按指标体系进行评价;第三步为依据权重进行数学处理得出评价结果;第四步为分析评价结果并提供建议与反馈。
正是意识到教学质量评价对于学校工作的重要性,北京科维能动信息技术有限公司作为国内较早关注此领域的软件公司之一,依托自2007年8月开始发布并受到众多用户认可的EnableQ在线问卷调查引擎这一通用的调查问卷管理系统,并且凭借多年在调查问卷自主设计、数据收集、整理以及统计分析积攒的技术优势,研发出EnableTQA教学质量综合评价系统这一辅助学校开展教学综合评价的软件利器。
评价指标体系的建立
EnableTQA系统的教学质量评价体系由学生评教、领导评教、督导评教以及教师之间的相互评教等四个方向的评教有机构成,其中学生评教是整体评价体系的核心,其余三个方向的评教是否开展可依据学校教学质量评价工作的实际情况酌情增减。
EnableTQA允许为四个不同的评价方向设计其对应的评价问卷,并在评价问卷中创建不同的评价指标、设计不同的评价问题以及根据具体问题给予对应的评价权重。对于学生评教的评价问卷,可设计一套评价指标体系以适应所有的教学课程,也可为不同的教学课程设计其对应的评价问卷以及创建其对应的指标和问题。
EnableTQA的评价指标体系由评价问题和评价指标两级结构所构成,任一评价指标可包含任意数量的评价问题以及任意个数的评价量度。在整个指标体系中,可分配的总权重、每一个指标分配的权重、每一个评价问题在对应指标中的权重以及指标中每一级评价量度所对应的分值均可由用户依据其对应的工作实践随时调整和修订。
为确保能够保存历史教学质量评价数据,EnableTQA系统创造性地使用了评教主题这一概念,这使得多个评教主题可在系统中共存,即便当前启用的评教主题仅有一个,但对于原有的评教主题,不仅能查看和导出这些数据,并使这些数据依然能进行分析和得出评价结论。
组织人员进行评价
EnableTQA系统提供了最为自由的基础数据定义框架,其基础数据分成课程、教师和学生三个独立但又可随意发生联系的数据体系。
对于教学课程的定义,EnableTQA允许创建任意数量的必修和选修课程,可定义课程对于学生性别的适用范围,定义教学班级、教师和课程的对应关系。对于选修课程,可创建其所属教学班级、任课教师以及班级所拥有的学生名单。
所有的教师必须属于并仅属于一个教研分组,可分配其是否拥有领导和督导角色身份,定义其在必修和选修课程上所教授的对应教学班级以及其担任班主任的班级。为配合领导评教、督导评教以及教师之间相互评教工作的开展,需要定义其对应的评价领导、督导、教师信息以及需要其评价的其他教师信息。
学生的基础数据按照学部、年级、班级(高校版按照院系、专业、班级)三级组织结构来构建学生信息树。任一学部(院系)可自由定义其下属的年级(专业)名单并可查看其对应的学生数据,同此对应,学生所在的教学班级必须从属于某一个年级(专业)。可自由定义教学班级的班主任、教学课程与任课教师、学生名录以及单个学生选修的对应课程等。
班级的班主任是EnableTQA系统的一个特殊角色,他(她)可以帮助系统管理员完成本班学生基础数据的采集并确保这些信息的准确。一名教师可在多个班级担任班主任。
当基础数据定义完成后,并结合前述评价指标体系的创建完成,评价问卷与调查问题以及其对应权重均设置完毕并由系统管理员预览确认,即可对外启动正式的教学质量评价工作。
学生可使用其学号登录EnableTQA系统,完成其所在班级所设课程的全部任课教师的评价。对于某些特定课程,比如体育,将根据学生性别评价不同的任课教师。选修课将依赖于课程、学生和教师之间的关系,不同的学生完成对其选修课任课教师的评教工作。
为确保收到学生评教真实的评价,系统在允许使用学生学号登录之外,也允许使用匿名模式进行同样操作。可为本班学生创建一批匿名登录账号,单个学生可使用这一批中的任一个账号进行系统登录,同一时段使用过的账号将不再能被其他学生所使用。当然如果使用匿名评教模式,将导致本班学生无法对选修课以及仅适用男或女学生的必修课程进行评教操作。
教师将使用其编号登录系统,完成其作为教师身份对需要他(她)评价的其他教师的评教工作,可能还需要其作为领导或督导身份对系统分配的多名教师完成评价操作。
为确保个人信息,除必要的基本信息之外,系统将不再记录涉及到个人隐私的其他信息。当所有的人员完成其对应的评价操作之后,系统管理员可将当前启用的评价主题转向结束状态,完成组织人员进行教学质量的评价步骤。
数据处理得出评价结果
提供强劲的数据处理和数据分析功能是EnableTQA系统区分其与竞争产品差异的重要标志。其强大的数据分析不必一定要等全部人员完成所有的评价操作之后进行,即便是评价工作进行当中,也可以对数据进行分析处理得出分析结论,EnableTQA进行的是完全实时的分析,这就使得对于分析引擎的强劲不仅表现在具体的功能展现上,更在分析数据的性能上。对于大容量的数据处理和分析,EnableTQA甚至比衍生出它的EnableQ在线问卷调查引擎更表现出色。
EnableTQA记录每一名人员对于评价对象进行评价的详细信息,它包含评价完成的时间、评价耗时、评价人员所在的组织单位以及目标评价对象的姓名与所属教研分组等基础的明细信息,更记录每一名评价人员在具体指标和问题上给出的评价选项和对应分值。这些评价的明细数据不仅可供检索和查询,更可根据需要按照学部(院系)、年级(专业)、班级、评价对象所在教研分组、具体评价对象、评价对象担任的课程或者担任课程的类型等单一条件或组合条件导出这些数据到Excel文件。提供这些明细数据的价值不仅在于监控教学评价数据的质量,更为对于最终分析处理结果有异议的评价对象提供核对的凭证。
EnableTQA提供完整的参评率报告,对于每一个被评价的对象,提供应评价的人数、实收到的评价数据数量以及参评的比率报告。参评率报告的价值不仅在于可以实时查看到教学评价工作的进度,更为重要的是,对于最终的评价分析结果,其结论是否存在有失偏颇的地方是非常有数据借鉴意义的。换句话说,对于特定的某些教师的评价排名,过高或者过低极有可能是因为参评率过低,造成评价样本过少,数据并不具有统计学意义造成的。
最为常用的数据分析工具是频数频率分析以及根据其计算出的频率而绘制出不同的数据图形。频数是指某一些选项在评价回复中出现的次数,频率则指相比总的样本回复数而言,这个频数所占的比例。频数并不是一个统计学考查特征,相比而言,频率更有考查意义,更能表达数据趋势。为使频数频率分析在EnableTQA发挥更大的价值,可根据需要按照学部(院系)、年级(专业)、班级、评价对象所在教研分组、具体评价对象、评价对象担任的课程或者担任课程的类型等单一条件或组合条件缩小数据范围,得出更具体的数据意义。比如,查看某一个教学班级担任某一门课程的某教师在获取的评价数据中,不同的评价量度出现的频数和频率,就能观察出其在不同的评价指标中可能获得的评价偏向。依据频率分析的结果,EnableTQA提供柱状、条状、簇状柱形、簇状条形、柱状堆积、条状堆积、饼状、甜圈、雷达等多种精美的数据图形,可根据不同情景需要,调整这些图形的显示大小。
EnableTQA提供的另一个实用的数据分析功能是指标分值分析,其考查的特征包含评价的最高值、最低值、总值、平均值以及标准差,与频数频率分析一样,其可以结合学部(院系)、年级(专业)、班级、评价对象所在教研分组、具体评价对象、评价对象担任的课程或者担任课程的类型等单一条件或组合条件缩小数据分析范围,以观察特定分析目标的数据意义。可以观察某一教学班级在某一个评价指标和问题上给出的评价最高最低分和平均分,并可根据标准差得到评价分值的差矩,以度量评价数据的有效性和置信范围。
最为重要的教学质量评价分析是最终得出教师在评价体系上的分值排名,根据前述建立指标体系时,为不同评价方向、不同评价指标以及不同评价问题上划分的权重,并依据可自由调整的数据置信区间,即剔除最高分和最低分的个数,计算教师在不同评价方向上的具体得分和最终的分值得分,并计算其在所有评价对象中的排名。因为数据分析的范围是可自由设定的,所以就非常容易得出教师在任课班级所有教师中的排名、教师在学部(院系)或年级(专业)所有教师中的排名、教师在所属教研分组中的评价排名等多个排名数据。对于具体的评价方向,比如学生评教,不仅可以根据总的得分分值进行排名计算,对于具体某一个指标或某一个问题上的得分,也可以计算其得分情况和排名情况。对于低于总平均分的教师得分,以红色标明用以区分。
分析结果给出建议反馈
以上所有提及的分析数据与分析功能,均可由系统管理员从拥有领导身份的教师中抽取人员进行特定开放,这意味着分析数据的报告并一定要系统管理员从界面中得出,拥有权限的教师可从其特定界面中按照自身需要自由组合查询和查看到这些数据、报表和图形。
对于参与评教的教师,其也可以通过系统分配的“报告我”的特定界面,查阅到自身的特定数据,包含上述提及的频数和频率、参评率报告、指标的分值分析、在特定评价方向上的评教排名以及在整个评价体系上的评教排名。基于这些数据,可全方向和全维度得到自身在整个评价体系上的意见反馈。
因为EnableTQA在评教问卷上除要求回复指标和问题上的评价量度,更要求每一个参评人员必须对评价对象给出具体的建议、意见和反馈,所以对于被评价的教师,亦可通过“报告我”功能界面查询到所有各个方向,包含学生评教、领导评教、督导评教以及教师之间的相互评教,给予自身的教学意见的明细。
EnableTQA因为的评教主题概念的创建,所以对于历史评价数据,被评价的教师也可以通过同一界面获取得到,所以不仅可查询到当前的数据和反馈,对于上一学期,乃至上一学年的评价数据和分析报告,也可随时查阅和查看。历史数据的保存,就为教师分析自身在评价体系上的发展趋势,更结合自身教学行为的改变,进行诸如哪些行为对于教学实践是有益于的,哪些行为可能是不受欢迎的等问题的思考和反省。
这些数据给出的反馈有利于教师能够正确认识到自身的教学水平,明确自身的优势与不足,发现教学中存在的问题,强化、调整、矫正自身的教学行为,不断改进教学方法、教学手段,从而提升教学能力和教学水平。以使教学质量评价除了得出排名数据以便进行量化的绩效考核进行奖励和惩罚之外,更能达到以评促教的良性循环,从而促进学校教学质量的提高。
用以辅助教学质量评价的一般性调查问卷
我们知道,用以教学质量评价的评教问卷是一种特殊的调查问卷类型,虽然EnableTQA系统提供了学生评教、领导评教、督导评教以及教师之间的相互评教等四个方向上评教问卷与指标体系的自主设计和数据收集,但对于学校整体的教学质量评价工作,可能仍然是不尽完美的,因为对于部分的教学质量评价工作,并不一定是可量度的数据类型,有可能是无量度的文本数据或描述性数据,对于这类数据的收集和整理原有的体系就不一定适合。更甚至于,这些数据的收集并不来自某一个有明显特征的集体,可能其来自这个集体的一部分和另一个集体的一部分,比如某一个教学班级的一部分学生或某个教研组的某一部分教师等。
即便学校并不一定就需要开展以上描述的工作,但一般性调查问卷仍然具有实用的现实意义。因为从学生和教师收集关于学校建设的调研性意见,不论是对于学校的行政管理机构,或者是学校组织机构中的某一个研究单元,EnableTQA提供的一般性调查问卷功能也具备了数据快速收集和分析整理的实用工具用途。
EnableTQA的一般性调查问卷提供的问卷设计功能包含较为全面的13种调查问题题型,不仅包含基础的单选、多选、填空、多行填空等基础题型,更提供复合单选、复合多选、矩阵单选、评分、比重、排序等高阶问题类型。多个不同或相同的问题题型可在同一份调查问卷的一页或多页中随意组合,更有通过对问题题型的配置选项与有效性校验等高级控制,以满足更多的题型要求。
EnableTQA的一般性调查问卷提供丰富的问卷设计手段,包含且不仅包含从文本文件导入问题、快速辅助整张问卷或问卷内部分问题、创建一个或多个问卷分页、在问卷中创建单一或复杂的问题逻辑关系、随机排列当前问题的选项顺序等基础或高阶的调查问卷设计功能。
EnableTQA的一般性调查问卷分为公开和私有两种类型,公开即所有的教师和学生均可访问和回复该问卷,私有问卷就需要指定访问和回复该问卷的样本特征,比如指定学生中的某一部分教学班级或者教师中的某一些教研分组等。
为确保一般性调查问卷回复数据的质量,EnableTQA提供且不仅提供限制IP、Cookie、防URL攻击、防模拟提交、回复数据输入性过来、基础性数据校验、有效性数据检查、阀值检查、要求更短回复时间、回复数据缓存等多重数据质量保证方法。
为使收集的回复数据能表达更多的统计学意义,EnableTQA提供基础的频数频率分析和高阶的交叉数据分析。根据频数频率分析得出的频率,EnableTQA提供柱状、条状、簇状柱形、簇状条形、柱状堆积、条状堆积、饼状、甜圈、雷达等多种精美的可随意调整显示大小的数据图形。 EnableTQA的交叉数据分析可基于任意指定的自变量和因变量,并得出交叉数据表格和数据展示图形。以频数频率分析和交叉数据分析为构建原件,EnableTQA可根据不同情形的需要,自由组合出所需要的数据分析报告。
除去一般性调研所需要调查问卷的情形,EnableTQA在单选和多选题型提供的阀值概念,即某个问题选项的回复达到预先设定的阀值后将不再接受来自该选项的回复,对于选修课程的学生报名工作具有改善工作绩效的现实意义。多个学校利用这一点,非常轻便并且在不引起学生发生争议的前提下得以顺利开展。
结束语
经过多年在调查问卷类型系统应用上的技术沉淀,EnableTQA被设计成一个高可用性和高可靠性的并且极具现实用途的应用系统软件。多家学校的实践使用并获得极高评价正说明了这一点。