第三节
高等教育质量常态化监测的指标体系

监测目标还需要成为一系列可执行的指标体系，因此建立良好的指标体系就是高等教育常态化监测的难点和重点。一个良好的指标体系必须具有四个特征：(1)针对性，即所设计的指标必须紧扣项目的目标，能准确获得项目的关键信息；(2)可得性，即所设计的指标必须满足基线数据的可得性；(3)可跟踪性，即指标不是一次性的，而应在项目实施过程中持续可得，这是获得项目进展纵向信息的前提；(4)时效性，即指标所提供的信息必须及时。事实上，监测的重要特征是通过短周期的信息反馈，保证项目管理者及时发现问题，监测的成功与否与提供信息的时间密切相关。

监测指标体系是由一系列具有针对性、可得性、可跟踪性及时效性的指标构成的，根据高等教育的特点和以往文献、指标测量的对象及用途，可以将监测指标分为投入指标、过程指标和结果指标。三类指标中，投入指标主要测量为了实现目标而进行的人、财、物的投入，主要用来分析资源是否严格按照预期规划分配；过程指标主要测量通过投入所获得的直接福利，即投入对相关利益群体带来的变化，主要用来分析用于特定目标群体的资源是否落实到位；结果指标测量的是项目产出的获得、使用情况及满意度等，即分析产出对目标群体带来的直接的或间接的影响，主要用来分析目标的达成情况。其中，前两类指标均属于中间指标，结果指标属于终期指标。围绕县域高等教育质量政策的目标，本研究将按照投入、过程和结果的逻辑框架构建相关的监测指标体系。

具体来说，监测指标体系构建的步骤如下。

(1)收集和梳理文献。本文主要收集以下两类文献资料：一类是包括专著、学位论文和期刊论文在内的有关高等教育质量的原始文献；另一类是与高等教育质量密切相关的政策法规、部门制度、规则或计划等。

第一类文献主要依托中国知网、proquest、河南大学图书馆、国家图书馆等学术资源，查找相关资料，围绕高等教育、高等教育质量、监测机制等核心概念广泛搜索国内外相关专著和论文。第二类文献的收集主要通过样本调查，收集关于高等教育质量发展中机构设置、职能内容、监督问责制度等方面的政策、法规、制度、计划等文本，发现影响县域高等教育质量的相关因素。

(2)在文献研究的基础上提出测评高等教育质量发展的一级指标。一级指标要能够涵盖质量的各个要素，各个指标之间要符合逻辑。本研究提出测评高等教育质量发展的一级指标包括教育机会、资源配置、学校管理和结果产出。为确保指标的准确性，本文通过样本县的抽样观察，尽量收集高等教育质量发展的实际运行状况，发现焦点问题，信息相互验证，力求获得全面、准确的信息。

为进一步验证文献研究所得的一些结论和分析框架的准确性，本书还主要通过半结构方式对选取的样本进行一对一的个别访谈，然后从中选择部分访谈对象进行重复性访谈调查。由于研究需要，本书初步预计需要进行两次访谈。第一次访谈是在调查问卷编制前，通过对不同类型人员无结构式访谈，与文献研究的结论相互印证，为问卷的编制做好准备。第二次访谈则是在问卷编制后，一方面是验证第一次访谈后的遗留问题，另一方面是向相关人员（行政人员、校长）询问对本研究框架的意见和建议。

(3)筛选学校办学中的各种测评标准。由于学校经常接受上级督导与评估部门的各种测评，因而筛选学校办学过程中的各种测评指标对二级关键指标的提出起到了关键性作用。学校办学过程中对各类测评指标的填写和统计次数较多，而学校内部对这些指标的收集统计完备，往往会收入学校数据库，这不仅为数据的获取提供了便利，更为测评大面积区域内高等教育学校质量程度提供了重要条件。

(4)选取教育水平不同的地区，运用问卷调查法了解高等教育质量发展的现状和特点。

首先，问卷项目的初步确定。本书从三个途径进行项目确定，一是邀请有关教育管理专家、教育行政部门负责人和知名中小学校长，请他们谈谈理想的高等教育质量状况是什么，高等教育质量应具备何种价值目标、行政过程和程序及评估问责制度。二是从已有研究的问卷和访谈提纲中进行项目筛选。三是从前期实地调研和访谈调查中对相关资料进行编码分析，从中归纳问卷可使用的项目。在确定项目的过程中，同时确定项目的表达形式和评分方式，本书初步预计采用选择题和李克特五点量表。

其次就是形成问卷初稿。问卷拟定为三部分组成。第一部分为事实性问题，即了解基本情况，包括人口统计学变量：性别、年龄；人力资本变量：学历、教龄；工作特征变量：职称、职务、工作科室、工作内容；组织特征变量：机构类型等。第二部分主要为封闭式问题，分为高等教育质量的现状、主要问题、影响因素和对策建议四个方面。第三部分为开放式问题，主要关于质量的目标和理念，设计1～2道开放式问题。通过对上述项目的修改，最终形成问卷草案，为最终问卷实测打下基础。

(5)提出高等教育质量发展评估指标框架（初步）。2014年4月完成初步指标设计，4月底完成第一轮专家意见征集，5月初完成指标第一次调整。6月进行了第二轮专家意见征集，并进行了第二次指标调整。7月份根据教育部颁布的《高等教育质量发展督导评估方案》，又做出一次调整。每次意见征询，都请专家在“重要程度”一栏里根据不重要、比较不重要、一般、比较重要、重要五个等级分别给予1、2、3、4、5计分，然后对所有专家的打分情况予以统计，筛选出专家认为比较重要、敏感的指标。另外，在意见征集中请专家补充他们认为在衡量高等教育质量发展程度上其他更敏感的指标。第一轮监测指标及专家打分情况如表2-1所示。

通过第一轮意见征集，发现“学校接待境外考察交流团数”、“生均教室面积”得分较低，于是在第二轮专家意见征集中提出了这些指标。另有专家建议关注对学生入学机会的评估，并且增加“公用经费”、“教师职称评定”、“校际之间发展的差距”及“学生满意度”等指标，于是在第二轮专家意见征集时对这些内容予以增加。同时，根据“输入—过程—结果”的指标体系构建思路，结合第二轮专家意见及四个维度内容，将整个指标体系调整为教育机会、资源配置、学校管理、教育质量四个板块，请各位专家评估赋值。第二轮监测指标及专家打分情况如表2-2所示。

第二轮专家意见征询结束后，又邀请高等教育领域的老专家进行座谈。一些专家提出发达高等教育质量发展程度测评的指标除了要有实践性，还要有比较强的政策性，要体现本地区历史发展特点，并提出了具体修改建议。在综合各位专家意见的基础上，课题组对指标框架又进行了修改。

鉴于征求意见期教育部公布了《高等教育质量发展督导评估暂行办法》，为了便于衔接，又进行了调整。主要是把各类具有相同特性的二级指标划分为9个不同的类别，分别是入学机会、公用经费、校园校舍、教职工配置、物质配备、制度管理、人员管理、满意度和努力程度。考虑地区教育资源的不质量和学生个体的差异性，主要把教育机会分解为随迁子女就读、留守儿童学习、特殊儿童教育和学校招生；制度管理和人员管理的相似性在于都包含学校内部相关人员的管理手段，在分支上同属于学校管理层面；教学质量二级指标的提出是包含了政府对学校的支持力度和学校内外部相关人员的评价，所以满意度类别和努力程度类别归入教育质量。

各类别内的二级指标也进行了相应的调整，“本校接待境内外教育考察交流的团数”划分过于具体，与高等教育发展水平的相关性较低，替换为“校长交流”，以学校高层领导的交流反映学校对外交流的状况。制度管理类别列出校内各类相关人员保障制度，主要分为“招生制度”、“经费保障制度”“师资配备制度”、“学生资助制度”与“职称评定制度”。同时，考虑“学生课堂教学的参与度”与“学生对学习生活的满意度”主观性较强，且不易测量，基尼系数计算误差率较大，故合并为“学生对学习的满意度”并增加“公众对学校的满意度”作为外部评价的补充。形成了一个包含16项指标的评估框架，且由专家指出指标的重要程度。“师均培训经费”从数据分析相关度来看，是一个很好地反映教育发展水平及其差异的指标，但是各县培训经费的界定很难规定统一的标准（如校长出国考察、教师职工培训食宿是否算培训经费）。大量上级单位支出的培训经费很难划分到学校，大规模评估不可能准确填写此指标的数据，故删除这个指标。第二轮监测指标及专家打分情况如表2-3所示。

第三轮专家意见结束后，在考虑地区发展质量的特点，综合各位专家意见的基础上提出了具体修改建议。经过第三轮讨论，课题组共列出9个大类别，数十个二级指标，但经过分析，现有二级指标划分过于详细，指向性明确，更符合三级指标的标准，所以把现有二级指标归入三级指标内，按照除适龄入学外的八个类别，将类别划分为二级指标。而针对适龄入学类别，有专家指出，除适龄入学学生外，还应考虑特殊生源教育方面，一起放入教育机会的一级指标内，故增加这三方面为二级指标，在相应的二级指标下，对应“适龄入学”包含的三级指标补充完善其他三项的三级指标。故最后形成了一个包含4个一级指标，12个二级指标和50个三级指标的评估框架 。

综上所述，高等教育质量发展必须确定一系列能够表述教育质量发展目标和质量发展状态的指标体系，使之成为监测的具体对象，实现高等教育质量发展目标定量化。为此，在指标选取和设计时要遵循以下原则。

第一，普适性。为确保监测结果的可比性与一致性，不同层次主体应采用相同的监测和评价方式，体现相同指标维度的特点，要确保国家、区域、城乡和学校高等教育质量指标体系具有连贯性和系统性。

第二，政策相关性。地区高等教育质量发展指数的设计要符合上级政府政策条例，指标的具体选取需要参考国家高等教育政策督导条例来进行，要具有政策的相关性，从而为制定符合本地区经济发展的高等教育质量政策提供指导和帮助。

第三，依据“政策—现状—目标”评价程序。“政策—现状—目标”的评价程序要求地方教育行政部门对本地高等教育现状要有明确认识，并能设定清晰可测量的政策、目标、定性目标值和可评价指标，以便高等教育质量发展指数的实施、评估和反馈。

第四，可靠性与准确性。基础指标是进行高等教育质量程度测量的基础数据，也是构建指标和指数系统的基础，要保证其可靠性和准确性。另外，在进行指标筛选时还需使用已有的资源和数据，包括政府、学校、公众和研究机构等，避免耗费精力去重复获取信息。

第五，关联性指标分析。在指标体系构建中，设定的指标之间可能存在着较高的相关度。其中一个指标的变化可能会影响另外两个指标的变化，指标与指标之间的关系可能正相关也可能负相关。 6K81Ie8xu3Y9EYmzawAkzYZ8DmG03bTSlzSI2Rhzl8u64Ou0WLQ2ZVNdOtD8mITi