学术竞争力是大学在长期的教学、科研、社会服务活动中不断吸取、整合、优化、开发各种资源,逐步培育形成的以学术文化为内核、以优势学科为主干、以学术梯队为支撑、以学术成果与效益为标志的一种整体竞争优势与能力。它以学术生产力、影响力、创新力为表征,体现为大学学术人员创造出比同行水平更高的教学、科研成果,培养出高质量的创新人才,以及高效、高质量地为社会服务的能力。
本书所提到的大学学术竞争力,是指大学在国际或国内竞争中所表现出的力量。这种力量从相互比较的角度来看,是各学校之间、同一学科之间、同一领域之间在某些方面的比较优势或差距表现;从学校、学科和领域自身来看,是大学所形成的一种能力或素质的反映;从竞争结果来看,是学校在培养人才、科学研究和社会服务等方面的能力。
大学的学术竞争力往往表现出如下特征。
(1)学术竞争力是大学在不断适应外部环境的过程中,在人才培养、科学研究和社会服务等方面所反映出来的能力。
(2)学术竞争力是一种比较竞争力,是大学在与国际或国内竞争对手角逐的过程中表现出来的比对手更有优势的能力。
(3)学术竞争力是分层次的。同一学科可根据不同的学术水平和培养能力,分为研究生(博士/硕士)、本科(学士)和专科层次,高等学校的学科竞争往往是在同一层次之间开展的,在层次上差距明显的大学之间几乎构不成竞争关系。
(4)学术竞争力的基础是发展和创新,学术竞争力的内在表现是有良好的成长机制。
(5)学术竞争力取决于竞争主体的竞争实力、竞争潜力和竞争环境。
本节以中国知网、Web of Science数据库为数据来源,检索收集国内外开展学术竞争力评估的研究成果。为了更加全面地得到学术竞争力评估相关研究文献,将“学术竞争力评估”扩展为“学术竞争力”“学术评估”“科研竞争力”“科研评估”“学术评价”“科研评价”等进行组配检索,对应英文检索词为“Academic Compet*”“Academic Evaluat*”“Research Compet*”“Research Evaluat*”等。同时,利用滚雪球法、引证文献法等进一步补充相关研究文献。
在对相关主题进行检索后发现,学术竞争力评估与科研评估密切相关。科研评估是通过对科研活动及其产出和影响的价值进行判断,以衡量科技创新活动及其主体的水平和价值的活动。学术竞争力评估主要包含两个方面的内容:一方面是对学术层面的评估,如对科研成果的评估等;另一方面是对非学术层面的评估,如对社会影响的评估等。学术竞争力评估是科研评估中对学术层面评估的重要组成部分,学术竞争力的强弱直接影响科研评估的结果,而科研评估的结果可以促进学术竞争力的提升,因而通常将学术竞争力评估放在科研评估体系中进行研究与讨论。
科研评估具有很强的诊断、导向与激励功能,全面有效的科研评估既能激发科研机构的创新能力,又能为科研管理部门提供及时的科研发展信息。因此,科研评估工作已经引起了越来越多国家的关注。美国是最早开展科研评估工作的国家,日本、法国、瑞典等国家也在其后逐步开展科研评估工作。我国的科研评估起步于20世纪80年代。近年来,随着大科学时代的开启,快速扩大的数据规模和先进的技术手段促使科研评估指标愈加丰富,科研评估体系日趋完善,科研评估方法日益增多,我国对科研评估的投入也越来越大。从整个科研评估流程来看,科研评估指标与科研评估体系是科研评估中至关重要的两个环节,国内外学者针对这两个环节已积极开展了各项研究。
科研评估指标是科研评估活动中的关键环节。通常来说,科研评估指标包括定量分析指标和定性分析指标两类,这两类指标经常被综合应用于评估实践中。定量分析指标在整个科研评估活动中具有不可或缺的客观价值。学者围绕文献数据对定量评价指标开展研究,包括传统文献计量指标、基于传统文献计量指标衍生的评估指标,以及伴随网络信息化所产生的诸多新兴指标,如网络计量学、替代计量学等。
基于文献的传统计量指标在科研评估中应用最为广泛,也为新指标的开发奠定了基础,如基于引文测度指标、期刊影响相关指标等。引文分析是文献计量学的核心方法之一,引文影响力在一定程度上揭示了学术影响力,因此,引文指标在科研评估研究中受到了广泛的关注。常见的引文指标可以分为三类:①适用于总体规模的定量分析指标,如总被引频次、高被引论文数、高被引论文占比等;②篇均类指标,如篇均被引、学科规范化的引文影响力(category normalized citation impact, CNCI)等;③特定指标,如 h 指数、 g 指数、皇冠指数等。
h 指数是科研评估中最具影响力的指标之一,也是广受学术界关注的评估指标之一。2005年,Hirsch J E(2005)综合考虑论文数量和论文被引次数,提出 h 指数( h -index)用于评估科学家个人的研究绩效,随后其他研究者相继提出了一系列基于 h 指数的衍生指标。Egghe L(2006)提出 g 指数,改进了 h 指数不能充分反映高被引论文的不足;Alonso S(2016)基于 h 指数和 g 指数提出了 Hg 指数;Prathap G(2010)则在研究中提出 p 指数,进一步提高了科研评估的客观性与准确性。我国也有不少研究者就 h 指数的局限性提出优化指数。许鑫、徐一方(2014)指出传统的 h 指数未考虑时间维度对学者进行的评价且无法有效区分拥有相同 h 指数的学者,并在研究中提出基于时间维度的 H t 指数,用于评估学者学术水平和活跃程度;金碧辉(2007)等提出了拓展 h 指数功能的补充指标 R 指数和AR指数;宋歌(2016)认为科研成果创新力评估中的替代指标具有局限性,提出了科研成果创新力 S 指标及累加 S 指数的计算公式,进而通过实证分析,论证 S 指数可以作为评估科研成果创新力的一项有效指标等。除个人评估外,也有研究者将 h 指数应用于评估其他主体,如InCites数据库将 h 指数应用于机构评估,Braun T(2006)等人将 h 指数的应用扩展到期刊评估。
除上述指标外,还有一些非常重要的指标,如荷兰莱顿大学科学技术研究中心提出的皇冠指数,以及期刊影响因子(impact factor, IF)、期刊声望指数(SCImago journal ranking, SJR)、特征因子等期刊评估指标。
在网络信息数量爆炸式增长、信息技术快速发展的背景下,网络计量学和替代计量学应运而生。学者开始注重网络环境下文献资源的特殊性,并对传统评估指标进行修正,提出新的评估指标。相关研究主要包括以下两个方面。
网络计量学通过运用各种量化研究技术、工具和方法,对网络信息资源进行计量和研究。该学科自提出以来被广泛应用于与网络相关的各种领域的分析之中,为科研评估提供了有力的定量依据和决策支撑。1998年,Ingwersen P(1998)基于期刊影响因子提出了“网络影响因子”。2002年,Darmoni S J等(2002)提出阅读因子,从图书馆用户视角对期刊进行评估。随后,越来越多的学者将网络影响因子应用于对大学、图书馆、企业等的信息资源评估中。邱均平是国内最早探索网络计量指标与传统引文指标关系的学者。自邱均平之后,对将网络计量指标用于学术评估可能性的研究逐渐增多,部分学者将引文分析法与网络链接技术相结合,提出了新的科研评估指标。如马凤(2014)提出基于PageRank算法的期刊影响力权值,并与期刊影响因子、期刊自引率、总被引频次等指标进行对比分析。又如周春雷(2018)认为学术关系网络蕴含的社会资本能够真实反映科研机构的学术声望及影响力,因而其研究从学术网络社会资本视角提出了测度科研机构学术影响力的学科评价指标——SCAN指数,并且通过ESI(essential science indicators)数据印证了SCAN指数的合理性和可靠性。此外,运用ScholarRank算法挖掘被引次数不多的高质量论文,通过MPA算法揭示文献链中居于重要衔接位置的文献等方面的研究也广受关注。
综合上述调研发现,当前对网络计量学的应用研究主要集中在理论、方法,以及共链分析、算法和评估指标上,但随着数据科学的快速发展和大数据、人工智能技术的渗透,网络计量学与网络挖掘、人工智能和数学等领域相结合成为新的发展趋势,将为科研评估中量化规律的发现和分析带来更大的便利。
替代计量学(altmetric)的概念最早是由美国北卡罗来纳大学博士生Priem J于2010年提出的。与传统的文献计量评价指标相比,替代计量学指标为科研评估提供了超越学科范畴的广阔视阈。替代计量学的测量对象丰富多样,能够展现即时更新的测量结果,弥补引文指标在应用中周期过长的缺陷,得到了学术界的广泛支持。Levitt J M和Thelwall M(2011)在替代计量学领域开展了一系列研究。2011年,Thelwall M(2011)通过将“引文次数”与“影响因子”加权计算得到一个新指标,用来评价文章的影响力。2014年,Mohammadi E和Thelwall M(2014)基于Mendeley学术社交平台探索不同领域Mendeley读者量与引用量的相关强度差异,研究发现社会科学领域Mendeley读者量与引用量的相关强度高于人文科学领域。2015年,Thewall M认为与被引次数相比,Mendeley计算研究成果影响力会更具及时性,因此提出一种基于Mendeley国际影响力指标的计算方法,研究发现该方法能够一定程度上更早反映文献影响力变化的趋势。此外,还有学者研究发现,领域专家重点推荐的论文中往往替代计量学分值较高。刘春丽(2012)最早将替代计量学引入国内;邱均平等(2015)提出将若干限定学术数据作为数据源,替代计量学的若干指标(如社会影响力、评级等)能够一定程度反映学术影响力。杨柳(2015)以plum analytics为数据源,探讨替代计量学指标与传统科研机构影响力评估指标之间的相关性。郝若扬(2018)以2014—2016年替代计量学前100名论文为样本,发现替代计量学分数能够通过定量方式揭示学术论文的社会影响力。
将替代计量学应用于科研评估能够带来更高的评估效率,也能更加实时地揭示学术前沿。目前,英格兰高等教育基金委员会(Higher Education Funding Council for England, HEFCE)正在论证将替代计量学应用于科研评估的可行性,若证实替代计量学指标适用于科研评估,则未来可能将其纳入考核制度中。但也有研究表明,替代计量学指标与引文指标所反映的论文影响方向不同,两者可以相互补充,但是不能取代彼此。
网络计量学和替代计量学都是基于网络的科学计量学的衍生体,它们拓展了传统引文网络的研究范围,提出了覆盖面广、迅速、开放的科学影响力计量方法。在网络和信息技术快速发展的时代背景下,基于网络计量学和替代计量学的新兴指标可以弥补传统文献计量指标的不足,但若要将这些指标更加成熟和准确地应用于科研评估,仍需大量的实证研究加以证实,这也是未来值得深入研究的方向。
科研评估体系构建是学术界的热点之一。构建评估指标体系一般包括指标选取和指标权重设置两部分,指标选取要结合评估对象的性质、特点,遵循指标选取原则;指标权重设置应关注目前的评估重点与目的,但指标权重设置并不是每一个评估体系必需的。笔者通过调研发现,国内外学者将德尔菲法、统计学、运筹学、组织行为学等多种学科方法引入到科研评估中,以构建更加完善、全面的评估体系,来提高评估结果的客观性和准确性。
大学科研评估指对校内科研人员科技创新活动进行的评估与衡量。随着大学功能的不断拓展和科研工作的不断深入,大学科研评估拥有了更广泛的内涵和外延。国外大学科研评估最初采用的是同行评议,随后定量分析也开始被应用到大学评估中,逐步形成定性与定量相结合的评估体系。国外对科研评估体系的研究主要集中于由政府建立或引入第三方评估机构进行的大学科研评估。例如,英国的“科研卓越框架”(Research Excellence Framework, REF)开展了很多探索性的研究和实践,其最大的创新就是采用了同行评议与文献计量指标相结合的评估体系,在严格限制文献计量指标所占比重的同时弱化了同行评议对评估结果的影响。在英国的《英国社会科学研究绩效的国际基准对比和文献计量学监测》报告中,研究者选取10个学科进行文献计量学分析,根据不同学科的特点确定引文数据统计范围,对每个学科的国际影响力进行比较分析。美国国家科学研究委员会(United States National Research Council, NRC)每隔10年进行一次研究型博士项目的排名,涉及大学特征、博士项目特征、参与项目人员3个维度共48个变量指标。德国科学委员会开展部分科研机构评估工作,建立了较为完善的多层次科研评估体系,涵盖20多项指标。此外,澳大利亚、法国等国家也针对不同的评估目标,构建了各具特色的科研评估体系。本书将在第一章第三节“学术竞争力评估的实践应用现状”中,对国外科研评估体系进行详细介绍。
国内大学的科研评估起步较晚,但发展较快,经历了行政评估、同行评议、文献计量评价、科研计量4个阶段,出现了一批有影响力且应用性强的大学科研评估指标体系。
白璐(2019)综合运用SWOT分析法、问卷调查法、德尔菲法等来构建指标评估体系。该研究首先通过调研国内外现有指标体系,利用SWOT分析法分析所选中指标的优势、劣势和现实因素,构建大学科研评估指标体系的雏形,设计指标体系问卷,然后邀请图情、科研评价等领域的20位专家,采用德尔菲法,通过两轮问卷调查,结合专家意见对指标和分值比重进行慎重的调整,最终得出指标优化后的大学科研评估指标体系。该指标体系具有一定的开放性,包括核心指标和拓展指标两部分,核心指标旨在对所有大学基础科研实力进行评价,拓展指标旨在对高水平大学的科研实力进行评价,并以某医科大学为例,对构建的科研评估指标体系进行了实践验证。
唐慧君(2006)运用层次分析法,考虑到自然科学与人文社会科学规律和特点不同,经过两轮专家意见咨询,分别构建了大学自然科学科研评价指标体系和大学人文社会科学科研评价指标体系两套科研评价体系,以保证评价体系的科学性与合理性,并选取湖南大学具有代表性的院系进行实证研究。此外,江艳(2007)也采用层次分析法构建评价体系,不同的是,该研究以科学构建为基础实施分类评价,依据理工文三类大学科,分别构建了湖南大学理科科研评价指标体系、工科科研评价指标体系和文科科研评价指标体系。
因子综合分析法是利用因子综合得分评价模型进行分析的方法。因子综合得分评价模型是统计学中相对成熟的方法与模型,该模型能够从众多指标中提取少数综合性指标,集中反映所有指标的主要信息,避免了大量评价指标重复叠加使用。柳劲松和刘贵华(2014)将因子综合得分评价模型应用于区域大学科研质量综合评价研究中,构建了包括条件质量和成果质量2个维度、13个核心指标的评价体系,经过因子综合分析法旋转后,从原来13个核心指标中提取出3个公因子。舒予(2015)同样利用因子综合分析法,从指标相关性的角度对科研评价指标进行分类,从科研总量、科研质量和前沿研究3个角度构建了科研评价指标体系,提出一种基于方差最大化的权重计算方法,对我国“985”大学科研状况进行评估和分析。
运筹学中的数据包络分析法(data envelopment analysis, DEA)也常常被应用于构建科研评估体系。例如,刘峰和于智恒(2019)运用数据包络分析法进行科研绩效测度,选取典型相关分析方法(canonical correlation analysis, CCA)模型对科研投入产出指标进行相关性验证,得到适用于我国大学的科研绩效评估指标体系;陈浩(2012)运用数据包络分析法中的应用视窗分析(window analysis, WA)模型,构建科研评价体系;姜彤彤(2011)综合运用数据网络分析法中的固定规模报酬数据网络分析法模型(CCR模型)和变动规模报酬数据包络分析法模型(BCC模型),构建了包括科研投入、科研产出2个维度共10个指标的评估体系。
除问卷调查法、德尔菲法、统计学方法以及运筹学方法外,平衡计分卡、健康指数模型等也被应用于构建科研评估指标体系。张龙等(2019)采用平衡计分卡构建了包含科研经费、科研成果、科研项目和科研交流与培养等指标的大学科研评估指标体系;周保环(2019)基于健康指数模型开展了大学学科评估与对策研究。
大学科研评估体系对大学创新活动发展起着重要的引导作用,而定期开展的科研评估活动也是大学自我查验的良好机会。部分学者指出,现有的大学科研评估体系存在诸多问题,需要进一步完善,才能更加客观地呈现科研评估成效,有效提升我国大学的科研能力和创新能力。有研究者就“双一流”背景下科研评估体系发展问题进行了探讨,如宋荔钦和郝少盼(2020)探讨了“双一流”要求指导下的大学科研评价体系构建策略,指出评价标准量化、评价内容实物化、评价指标国际化是目前我国大学科研评价体系的重要特征,但同时我国大学科研评价体系也存在评价机构行政气息浓重、评价内容量化现象严重等问题,进而依据不同专业特色采用不同评价方法,提出大学科研评价体系构建策略。又如,郑承军和潘建军(2018)就“双一流”背景下大学科研评价的改革,指出长期以来加强绩效评价成为我国高等教育管理领域的现实,在该过程中,以量化考核为表征的绩效评价备受推崇,功利主义也在影响着学术评价,评价的工具主义不断影响着学术职业的本质属性。该研究提出,一方面要改变“唯期刊论”的学术评价体系,落实多元评价和同行评价的理念;另一方面要改变科研评价目的,扭转科研评价的功利性等。只有完成这两个方面的改变,才能构建适应“双一流”建设背景下的大学科研评价体系。
大学学科组织化指将大学基层组织制度从有利于知识传递向有利于知识创造转变。对处于既定发展阶段的大学学科组织化水平做出科学、准确的评估,具有重要的理论价值和现实意义,然而,目前这一目标尚未完全达成。贺天成(2017)通过整合大学学科组织理论,提出组织化视角下评估体系的构建原则,并综合问卷调查法、德尔菲法、调系数、变异系数、乘积法等多种研究方法,从理论上构建了“体用结合”的大学学科评价指标体系。该指标体系综合考量了大学学科组织功用水平和组织化水平,最大限度使大学学科水平评价更加合理、全面。刘磊(2018)则关注排行榜的学术评价体系,他以上海软科世界大学学术排行榜(Shanghai Ranking’s Academic Ranking of World Universities,简称ARWU排行榜)、泰晤士高等教育世界大学排行榜(THE World University Rankings,简称THE排行榜)、QS世界大学排行榜(QS World University Rankings,简称QS排行榜)这3个排行榜的学术评价指标体系为研究对象进行相关性分析,结果发现不同排行榜的相关系数下效度较差,同一大学在不同评价体系中的学术等级相差较大,并且同时入围3个榜单的大学数量偏少,这主要是各排行榜计算方法和排名指标不同导致的排名差异。该研究进而从调整评价指标权重、被引问题等方面提出修正意见,重构学术评价指标体系。此外,也有国外学者就完善科研评价指标体系的问题进行了探讨。Bincent N(2013)以专业能力、研究活动、行为特性等为关键绩效指标设置大学绩效评价体系,指出教育机构在进行评估时,可以根据目的选择性地组合使用上述指标。Gunn A等(2017)则关注非学术影响对学术研究评价的作用,指出在评价设计中应当考虑评价对象、时间框架、非学术影响信息的提供者、争议的影响、科研资助等因素,将非学术影响选择性地应用到学术研究评价中。
科研评估体系的构建是科研评估工作的关键环节,所构建的科研评估体系是否全面、合理,不仅会影响科研管理的公正性和有效性,而且会影响大学管理部门的决策和大学发展方向,而如何在现有研究的基础上构建更加全面、合理的科研评估体系,仍是未来值得深入探讨的话题。
科研评估对大学科研活动的管理和决策意义重大,它通过科学、有效的方法,对科研活动及其产出和影响进行价值判断,为下一步的科研决策提供支持,其在指导科研经费分配、科研人员晋升、科研管理等方面发挥着越来越重要的作用。
综合国内外的研究情况可知,国内外学者针对科研评估流程开展了一系列的研究工作,尤其在科研评估指标与科研评估体系构建方面。在科研评估指标方面,除传统文献计量指标及其衍生指标外,伴随着网络和信息化的发展,还出现了诸多基于网络计量学和替代计量学的新兴指标,这些新兴指标为科研评估带来了极大便利,但如何将其更加准确地应用于科研评估,仍需未来继续探讨。在科研评估体系构建方面,部分学者探索了如何将层次分析法、因子综合分析法、数据包络分析法等多种客观赋权方法应用于评估体系构建,但评价本身是多维度、多属性且主观的,因此“客观评价”概念本身并不完备。
此外,从科研评估主体来看,科研评估主要由国家或大学主导,在国外还有一些商业组织积极参与其中,为政府和公众了解各个院校和科研机构的科研实力、科研资源、科研效益等情况提供支持。科研评估对象涉及学者评价、期刊评价、学科评价、机构评价,以及国家或地区评价等多方面,本书主要针对机构评价开展调研工作。从科研评估方法来看,主要分为定性评估、定量评估和综合评估,3种评估方法各有所长,适用于不同的评估对象和目标。目前,很多国家和地区的科研评估以定性分析为主,以定量分析为辅,采用两者相结合的方式进行。本书以全面、客观揭示各所大学的实际竞争力为目标,不采用任何主观赋权方法进行人为干预,通过客观学术数据,展现各个大学间的学术竞争力原貌,为我国“双一流”大学建设提出可供参考的建议。
根据评估主体和评估目的的不同,可将学术竞争力评估的实践应用分为三大类:第一类是第三方机构或政府所主导的国家科研评估体系构建,如中国教育部学位中心一级学科评估、美国博士点评估、英国科研卓越框架、澳大利亚卓越科研评价体系(Excellence in Research for Australia, ERA)等;第二类是新闻媒体机构或民间高等教育评估组织所主导的大学排名评估,如ARWU排行榜、THE排行榜、QS排行榜、美国新闻与世界报道世界大学排行榜(U.S.News & World Report Best Global Universities Rankings, U.S.News)、“金平果”排行榜等;第三类是由大学自主发起的评估,如北京大学图书馆进行的北京大学科研竞争力评估等。下面主要介绍和讨论学术竞争力评估在这三大类中的应用。
国家科研评估是由政府或第三方机构主导,通过构建一个结构合理且符合国情的科研评估体系,对大学的科研能力进行的官方或半官方的科研评估。评估结果可以帮助大学了解自身的优势与不足,为大学的竞争和发展提供定位信息,从而对科研管理体制和方案优化提出有针对性的意见或建议。同时,也可为政府部门的科研管理和政策制定提供数据支持,特别是为政府科研拨款提供决策依据,使科研资金的利用效益最大化。
在国家科研评估体系中,有一定关注度和影响力的科研评估体系主要有:中国教育部学位中心一级学科评估、美国博士点评估、英国科研卓越框架,以及澳大利亚卓越科研评价体系。这4种科研评估体系具有不同的特点和应用目标,其评估方式和侧重点也各不相同。以下将会详细介绍这4种科研评估体系,以及学术竞争力评估在其中的应用现状。
中国教育部学位与研究生教育发展中心组织(简称中国教育部学位中心)的一级学科评估,是按照国务院学位委员会和教育部颁布的《学位授予和人才培养学科目录》,对具有博士硕士学位授予权的一级学科进行的整体水平评估。它是采用“客观评价与主观评价”相结合,以第三方评估的方式开展非行政性、服务性评估的指标体系。中国教育部学位中心一级学科评估于2002年首次开展,至2017年已经完成四轮。
2020年11月,中国教育部学位中心印发《关于公布〈第五轮学科评估工作方案〉的通知》,决定启动第五轮学科评估工作。本轮学科评估指标体系包含人才培养质量、师资队伍与资源、科学研究(与艺术/设计实践)水平、社会服务与学科声誉4个一级指标,评估采取“公共数据获取与单位审核补充相结合”的信息采集模式,其数据主要来源于单位材料报送、公共数据采集、专家评价和问卷调查等。
这4个一级指标中,与学术竞争力评估相关的指标是科学研究(与艺术/设计实践)水平,其主要针对科研成果、科研项目与获奖等方面的情况进行评估,重点考察学术论文质量、学术著作质量、专利转化情况、科研项目情况、科研获奖情况等。第五轮学科评估指标体系框架如表1-1所示。
教育部学位中心一级学科评估因其权威性和官方性,得到了社会的广泛认可,为政府管理部门与大学制定政策和措施提供了重要的参考依据。在政府管理层面,此评估结果有利于政府管理部门全面掌握大学的信息,为其对大学的管理和调控,特别是相关资助政策的制定和资金的投入决策提供了重要的数据支持。在大学层面,此评估结果有利于大学了解自身学科发展过程中的优势和不足,促进学科内涵建设,提高学科水平和人才培养质量。
美国博士点评估是由美国国家研究委员会发起(National Research Council, NRC)的博士点评估。NRC是由美国国家科学院(National Academy of Sciences, NAS)创建的民间非营利组织,主要承担评估研究型大学内部各学院办学质量和水平的工作,大约每隔10年进行一次美国研究型博士项目的排名。自1982年以来,美国已开展了3次全国博士点评估。
美国博士点评估指标体系包含3个一级指标:研究活动、学生资助与结果、多样性。其评估数据主要来源于以下3个方面:①问卷数据的收集,如院校调查、项目调查、教师调查、学生调查等;②参与排名的博士点所提交的材料;③通过数据库获得的文献计量指标等。值得一提的是,为克服同行评估的主观性和不确定性,美国博士点评估仅将专家意见用于赋予各项指标权重,最后的评估结果完全基于各博士点的客观指标数据。此外,美国博士点评估还重点关注学科的差异,其中人文学科的数据由各博士点上报,而理工科数据则来自美国科学信息研究所(Institute for Scientific Information)数据库。
在上述3个一级指标中,与学术竞争力评价相关的指标是研究活动,其主要考察教师的人均论文发表数量、论文篇均被引次数、核心教师和新任教师获得研究基金的比例等方面的表现。美国博士点具体评估指标及说明如表1-2所示。
美国博士点评估由第三方机构NRC组织,其评估结果未与政府拨款挂钩。然而,因其评估的专业性和方法的客观性,形成的评估结果全面、可靠,在美国学术界有很高的认可度,成为各所大学提高自身科研水平、制定发展方向的重要依据。大学以此评估结果为参考,加大对提升学校声誉的博士点的投入,并完善下一步的发展策略。
英国科研卓越框架是英国政府历经6次科研水平评估,不断改进后出台的英国大学科研评估制度,由英格兰高等教育资助委员会、苏格兰资助委员会(The Scottish Funding Council, SFC)、威尔士高等教育资助委员会(Higher Education Funding Council for Wales, HEFCW)和北爱尔兰就业和学习部(Department for Employment and Learning, DEL)联合组织进行,主要用于评估全国范围内大学的科研质量水平。REF的前身是科研水平评估(research assessment exercise, RAE),2014年REF制度取代了RAE制度,并改进了评价方法和评价指标,在全面评估不同学科科研质量的同时,也评估科研成果对国家、社会、经济和文化等领域的影响力。REF评估目的主要有:①为科研绩效拨款提供重要参考和证明;②为高等教育部门和公众提供卓越科研的标杆和信息;③引导科研经费的选择性分配。
REF采用“同行评议为主、文献计量为辅”的评估方式,从科研成果、科研影响力和科研环境3个方面对英国大学不同学科的科研质量及科研实力进行评价。需要注意的是,虽然REF中引入了文献计量学数据指标,但这些指标仅供同行专家评估时参考,暂未作为评估的主要依据,同行的定性评议仍是评估的首要因素。针对不同的学科,REF的评价体系略有差异,在科学、技术、工程、医药等自然科学相关学科数据的采集和处理方面,更多依据Web of Science数据库和Scopus数据库的引文分析;对艺术、社会科学、人文和统计学等学科,则采用同行评议为主的方法,辅之以Lattes数据库的引文统计分析。
在REF评估指标体系中,与学术竞争力评价相关的评估指标是科研成果,它以研究成果的原创性、重要性和严谨性为衡量标准,运用同行评议和文献计量指标综合评价的方法,评估科研产出是否达到国际研究质量标准。科研成果指标在整个评估体系中所占权重最高,达到65%。2014年版REF具体评估指标、评估标准、评估说明及权重如表1-3所示。
新一轮REF评估于2021年开始,此轮评估仍采用同行评议为主、文献计量为辅的评估形式,新增评估系统专家用户组和引用数据专家用户组,引用数据专家用户组需要在正式评估阶段向专家用户组提供科研成果引用数据等定量数据,作为同行评议的参考。
REF评估由政府引导,其评估结果作为政府对大学进行科研拨款的重要依据,有利于加强大学对科研活动的重视程度,增加科研产出数量,提升科研质量。此外,政府根据评估结果分配科研经费,提高了科研资金的使用效率,增强了针对性,促进了学科整体研究质量的提高。
澳大利亚卓越科研评价体系是由澳大利亚研究委员会(Australian Research Council, ARC)管理的现行大学科研评价制度,主要用于对澳大利亚大学科研情况进行全面的评估,甄别出卓越的、有潜力的研究,为政府、工商业界和其他社会团体提供研究信息。自2007年ERA制度代替科研质量框架(Research Quality Framework, RQF)制度之后,迄今已经开展了4轮评估。
ERA通过对不同学科设置不同的指标、业内专家和同行互相协作、划分评价单元和学科群等多种评价方式,确定各个大学的科研优势,以及具有发展潜力的学科。在遵循数量标准、国际认可程度、与其他学科所用指标具有可比性、能够识别出优秀成果、有研究相关性、可重复并且可检验、时限性和对行为有影响这8项原则的基础上,ERA构建了具有自身特色的评估指标体系,主要涵盖引文分析、同行评议等多项考察内容。2018年ERA最新一轮评估的主要考察内容如表1-4所示。
基于上述考察内容,ERA评价指标体系将评估指标划分为三大类,分别是科研质量、科研活动和科研应用。其中,与学术竞争力评价相关的评估指标是科研质量,主要对研究成果的质量进行评估,包括科研成果的内容水平、引文分析(论文相对引用影响力)、同行评议等方面的表现。ERA评价指标体系具体指标及其说明如表1-5所示。
ERA能够全面评估具有优势和发展潜力的科研领域,其评估结果可引导大学支持优秀科研计划,有利于提升大学整体科研质量,并为进一步调整研究战略提供数据支持,使政府资金在科研领域的投资效益最大化。同时,也能够向各界提供大学优势学科信息,促进各大学的优势学科为国家所开发利用。
将上述4个国家科研评估体系中与学术竞争力评估相关的指标进行整理(如表1-6所示),总体来看,各科研评估体系存在许多共同特征,但在评估方式和指标选择上又各具特色。
从评估方式上看,各科研评估体系多采用量化评估与同行评估相结合的方式,其中美国博士点评估偏重客观量化评估,而英国科研卓越框架在同行评估的基础上,加入了文献计量学数据指标作为参考。从数据来源上看,主要指标的数据大多来自第三方数据库,如Web of Science、Scopus等,其中人文学科的数据部分采用了同行评议和单位上报的方式采集。从主要指标上看,各科研评估体系都重点关注了科研成果质量、科研成果影响力及科研成果获奖荣誉等方面的表现,特别是对科研成果质量的要求日趋严格。
世界大学排行榜是一流大学竞争的一种表征,借助量化的指标对大学的综合实力进行评价,是比较高等教育绩效与生产力最直观、最简单的方式之一,也是目前学术竞争力评价应用中最为常见的形式之一。学术水平能够反映一所大学的办学特点和能力,高等教育评估机构历来认为科研绩效是评价世界一流大学最为可靠的标准。荷兰莱顿大学校长Carel Stolker曾指出,世界大学排行榜对大学在科学研究领域的表现最为关注,可见作为学术竞争力核心要素的科研绩效是世界一流大学的核心指标和标志。
国内外很多权威评估机构提出了具有广泛影响力的世界大学排名评价体系。如表1-7所示为北京大学2011年学科竞争力评估体系。王金龙、王叶静(2017)在研究中指出,全球范围内世界大学排行榜有近20个,国家大学排行榜有近60个。这些大学排名机构根据自身评价目的构建学术竞争力评估体系,收集国际高等教育机构的学术信息,突破大学评价的国内视野,最终实现国际上通行的一流大学评估。国际上通行的大学排名评价标准通常涵盖科研、教学和社会服务等方面的内容,从产出的角度展开测评,聚焦于学术论文的发表数量和引用情况,即选用了学术竞争力相关的评估指标。已有多位学者对世界大学排行榜进行了系统的研究分析,其中一部分学者侧重于大学排名方法的多维度分析,还有一部分学者对不同大学排行榜之间的相似性和相关性进行了横向的比较分析,研究中均分析了学术竞争力指标在世界大学排行榜中的应用情况。邱均平(2017)等比较了ARWU、RCCSE、THE、QS、U.S.News5种世界大学排行榜的指标体系和二级指标权重分配,对不同排行榜发布机构的价值取向和偏好进行了分析,指出输出型二级指标如出版物、学术会议和论文影响力等所占权重较大。张优良等探究了有代表性的世界大学排行榜的体系特征,指出世界大学排行榜普遍重点考察大学的科研成果,论文发表数量及引用率已经成为大学排名中衡量大学科研水平的最重要指标。周光礼等(2016)指出,产出指标在评估学术组织的绩效表现时更为直观,国际评估机构对SCI或SSCI收录的论文情有独钟,科研成果指标已成为学术组织绩效考核的国际通用指标。总体来看,世界大学排行榜对学术竞争力指标有着较明显的偏好。刘磊等(2017)在分析我国与国外一流大学的学术竞争力差距时,使用了ARWU提供的学术指标分和学术总分算法来计算我国大学的学术总分。由此可见,学术竞争力的评估指标和方法在世界大学排行榜中的应用也得到了学者的认可。
现阶段流传度最广、认可度最高的世界大学排行榜包含Quacquarelli Symonds世界大学排行榜(QS)、泰晤士高等教育世界大学排行榜(THE)、美国新闻与世界报道世界大学排行榜(U.S.News)、软科世界大学学术排行榜(ARWU)和“金平果”排行榜(RCCSE)。其中,ARWU和RCCSE的发布机构为大学,THE和U.S.News的发布机构为媒体,QS世界大学排行榜的发布机构为公司。这5个排行榜各有特点和应用目标,方法体系也有所不同。
QS世界大学排行榜是由英国国际教育市场咨询公司Quacquarelli Symonds所发布的年度世界大学排行榜,首次发布于2004年。2010年,QS世界大学排行榜得到了联合国教科文组织欧洲高等教育研究中心成立的“大学排名国际专家组”下属的“IREG—学术排名与卓越国际协会”承认,是目前参与机构最多、世界影响范围最广的排行榜之一。
QS2020世界大学排行榜主要从研究质量、教学质量、毕业生质量及国际化程度4个维度(包括学术声誉、雇主声誉、教师的论文引用数、教师/学生比例、国际教师比例和国际学生比例6个指标,具体如表1-8所示)进行排名。大部分学者认为,学术竞争力相关指标是反映大学科研情况的最佳指标,并在排名时赋予其极高权重,而QS公司却只赋予论文与论文被引用情况20%的权重。因为QS公司认为现有文献计量法存在学科偏见,该方法对人文社科类院校和小规模行业型大学极不公平,该公司更注重对行业的主观评价,而非文献统计的客观评价。QS公司极为看重大学声誉,坚持赋予“声誉”最高权重,并将“声誉”分为“学术声誉”与“雇主声誉”两部分,不断改进声誉评估方法,这是QS世界大学排行榜区别于其他世界大学排行榜的重要特征。
泰晤士高等教育世界大学排行榜于1992年开始发布英国国内大学排名,2004年11月,其与英国QS公司联合,首次发布THE-QS世界大学排行榜。THE被认为是最具影响力的世界大学排行榜之一,颇受全球高教界关注。泰晤士高等教育全球2021年大学排行榜涵盖了93个国家和地区的1500多所大学,是迄今规模最大、种类最多的大学排行榜,深受全球学生、教师、政府和行业专家的信赖。THE世界大学排行榜是唯一拥有全面、独立审查能力的全球大学排行榜,所有数据由专业服务公司普华永道(Pricewaterhouse Coopers, PwC)独立审计。
THE世界大学排行榜使用了13个精心校准的绩效指标,这些指标衡量大学在教学环境、科研能力、科研质量、国际化程度和产业收入5个方面的表现,具体如表1-9所示。THE世界大学排行榜评价体系侧重于学术指数,其对世界大学综合竞争力的考量偏重教学和研究能力。
《美国新闻与世界报道》( U.S.News & World Report , U.S.News)是美国一本新闻周刊,该杂志自1983年开始对美国大学及其院系进行排名,开创了全国大学排名的先例,具有较高的知名度。2009年,U.S.News开始与英国QS公司合作,并发布了全球前两百名大学排行榜。U.S.News综合大学排行榜是全美最具权威、影响力最大的排行榜,主要侧重于大学的学术研究和整体声誉。
2014年底,U.S.News首次推出世界大学排行榜,引发了全球媒体的关注。U.S.News世界大学排行榜排名方法与其美国最佳大学及最佳研究生院的排名方法有诸多不同,格外注重学校的学术水平和总体声誉度,并更侧重于包括出版物及文献的数量、引用数量和高引用论文这些文献计量指标在内的学术评价指标。U.S.News世界大学排行榜排名方法中的主要评估数据来源于科睿唯安的InCites研究平台,具体评价指标体系说明和权重如表1-10所示。
软科世界大学学术排行榜于2003年6月由中国上海交通大学教育研究生院(原高等教育研究所)世界一流大学中心(First International Conference on World-Class Universities, CWCU)首次发布,是世界范围内首个综合性的全球大学排行榜,每年发布世界排名前1000名的大学。ARWU的最初目的是在世界范围内对中国顶尖大学进行定位和分析,但自其发布以来,其评价体系的客观性和高透明度引领了国际大学排名的浪潮,确立了大学评价的中国话语体系,成为全球最具影响力和权威性的大学排行榜之一,在世界各地被广泛报道和大量引用,除帮助国家和大学确定自身优势和劣势外,还被用作促进其改革和制定新举措的重要参考。
软科世界大学学术排行榜以评价方法客观、透明和稳定著称,全部采用国际可比的客观指标和第三方数据。在进行排名时,每项指标得分最高的大学为100分,其他大学按其与最高值的比例得分。如果任何一个指标的数据分布表现出明显的异常,则采用常规统计方法对数据进行处理。软科世界大学学术排名评价指标体系具体如表1-11所示。
“金平果”排行榜又称中评榜、邱均平大学排行榜或评价网大学排行榜,是由中国科教评价网与中国科教评价研究院、武汉大学中国科学评价研究中心共同研发的科教排行榜,包括中国大学及学科专业排行榜、中国研究生教育及学科专业排行榜、世界一流大学及一流学科排行榜、中国学术期刊排行榜四大类。在以往评价中国大学的基础上,武汉大学中国科学评价研究中心于2006年开始评价世界大学的学术竞争力,囊括了世界大学科研竞争力排行榜、世界大学与科研机构(分22个学科)科研竞争力排行榜、世界大学科研竞争力(分7个基本指标)排行榜等,从不同角度反映了世界一流大学和一流学科的建设与发展状况。
“世界大学科研竞争力排行榜”以世界一流大学为对象,对美国基本科学指标数据库中收录两个学科及以上的大学进行了全面、系统、深入的评价与分析。评价指标打破以往只注重科研评价的惯例,转向对大学的综合评价,其一级评价指标由师资力量、教学水平、科研能力、声誉影响力4个部分构成。具体指标体系如表1-12所示。
世界大学排行榜对学术竞争力指标的重视有目共睹,但不同评价机构对指标的考察也各有侧重。对五大世界大学排行榜评价指标进行归纳,将其中与科研成果(包含论文、书籍、专利)相关的指标作为学术竞争力文献计量指标,统计其在排行榜中所占的比重,结果如表1-13所示。这些指标虽然名称不同、权重不同,评价的主体也不尽相同,但指标所评价的内容不外乎论文的发表量和引用量两个方面,U.S.News世界大学排行榜和RCCSE世界大学排行榜还涵盖了专利和书籍的发表数量。U.S.News世界大学排行榜和RCCSE世界大学排行榜对于科研产出的偏好最为明显,科研成果指标占比均超过了50%,其中U.S.News世界大学排行榜科研指标成果占比更是达到了75%;THE世界大学排行榜和ARWU排行榜对科研能力的重视程度较为接近,科研成果指标占比分别为38.5%和40%;QS世界大学排行榜则侧重于选用主观指标,其指标体系中仅教师的论文引用数(20%)一项可作为科研成果指标,但是学术声誉(40%)指标也往往包括对科研论文成果的隐性考量。学术竞争力评价已成为世界一流大学综合竞争力评估中不可或缺的一部分,且在竞争力评估的多个维度中占有较重的“分量”。
大学在不同世界大学排行榜列表中名次出现差异的情况屡见不鲜,其主要原因不外乎评价体系的侧重点和数据获取的方式不同。世界大学排行榜的评价组织在进行学术竞争力评估中存在着一些通病,如排名指标相对单一、数据统计处理缺乏必要的审查和监督等,不同的世界大学排行榜所服务的利益相关者不同也导致其权重的赋予存在主观性。此外,当前的世界大学排行榜偏好将欧美学术标准作为评价依据,非常重视顶尖科研成果,如在期刊《自然》( Nature )和《科学》( Science )的发文量,这种标准明显有利于以英语为母语的国家,这也是欧美大学在各大排行榜占据压倒性优势的主要原因,这对我国大学角逐世界顶尖大学排名是非常不利的。近年来,大学差异化发展的呼声不断高涨,但在进行大学学术竞争力评价时仍需要体现世界一流大学的国际共性特征,做到“一所真正一流的大学在各种指标体系中都是一流的”。对已有的世界大学排行榜评估方法和价值取向进行研究,一方面可以帮助大学更好地认识到世界大学排行榜提供的信息价值和意义,另一方面也可以取其精华,去其糟粕,通过排名准则的共通性,依据不同国家、不同类型大学的特征对大学学术竞争力进行多维度评价。本书参考当前世界大学排行榜学术竞争力评估指标体系及相关研究,旨在揭示中美顶尖大学学术竞争力差距,为中国大学制定未来发展战略提供启示与借鉴。
若把国家科研评估和大学排名归为外部评估者对大学科研能力的评价,俗称外评价,那么各大学所主导的自主评估就是内部评估者对大学科研能力的评价,俗称内评价。大学内部的自主评估是高等教育机构基于自发的精神,发挥自我反省和自我批判的能力,由高等教育机构本身或其指定团体所规划和执行的评价活动。在大学所主导的自主评估中,大学既是评估的主体,又是评估的对象,通过结合自身发展战略和整体规划,自主选择评估方法、评估指标、权重分配等,构建结构合理且适合大学自身的科研评价体系,从而更好地了解自身学科建设情况,根据评估结果客观反映出的科研现状与预设发展目标之间的差距,优化科研管理体制,调整发展战略,实现有限资源分配的合理化和利益的最大化。根据评估出发点的不同,大学所主导的自主评估主题和内容也各不相同,如:北京大学图书馆为摸清学校整体及各学科的科研实力,优化学科规划布局而进行的北京大学科研竞争力评估;清华大学、复旦大学和上海交通大学等为配合世界一流大学建设目标,帮助学校全面了解本校学科的发展状况和国际地位而自发开展的学科国际评估;美国加州大学伯克利分校为确保其学术领先地位和教育服务质量而对所有学术计划开展的周期性评估;美国俄亥俄州立大学为提升博士点质量而开展的博士点内部评估等。
在大学所主导的自主评估中,最为普遍的就是对本校科研竞争力的评估。以国内外相关科研机构为对照进行比较分析,可帮助大学摸清学科建设短板,理清发展头绪,优化学科整体布局,提高学术竞争力。以北京大学为例,北京大学图书馆于2011年针对学校亟待解决的学科规划布局问题,采用文献计量的方法对北京大学进行了科研竞争力评估,系统分析了学校整体及各学科的科研实力。其数据主要来源于Web of Science数据库中的SCI、SSCI、艺术与人文引文索引(Art&Humanities Citation Index, A&HCI)子库,ESI数据库,JCR期刊引证报告,以及《自然》《科学》的部分数据。同时,对于人文社科方面的学科,还以中国社会科学引文数据库(CSSCI)、中国知网(CNKI)中的数据作为补充,具体评估体系如表1-7所示。
在此基础上,北京大学图书馆又先后完成了2016版、2017版、2018版学科竞争力分析报告,对北京大学的43个博士点一级学科/30个双一流学科进行了学科竞争力分析与梳理。最新的2018版学科竞争力报告分别从科研成果表现、科研基础实力、创新能力、国际影响力、院系贡献度与重点院系竞争力6个角度分析和展示了相关学科的竞争力。其中,科研成果表现指标包括论文产出和影响力、年度发文趋势和引文影响力趋势等;科研基础实力指标包括科研项目、科研平台、专家团队、科研奖励、学科评估等;创新能力指标包括高影响力论文、高影响力期刊论文、基金资助论文等;国际影响力指标包括学科国际排名、国际合作情况等;院系贡献度则基于文献作者的地址,对高贡献院系的竞争力进行了对比分析。评估所用数据主要来自于Web of Science数据库、Scopus数据库、中国社会科学引文数据库、中国知网、InCites、中国国家社会科学基金、中国国家自然科学基金、中国教育部基金、中国国家自然科学奖、中国国家技术发明奖等科研基金及获奖情况,以及QS、Nature Index、ARWU、THE、U.S.News世界大学学术排行榜排名情况。
美国大学为了保障学科质量,提高学科发展水平,在管理过程中也会依据自身的战略规划开展自我评估。以加州大学伯克利分校为例,加州大学伯克利分校的学术计划评估距今已有近50年的历史,学校构建了分类指导和分层评估相结合的学术项目评估体系,主要分为学术与专业院系评估、研究生群组项目评估以及本科生与跨学科研究项目评估。各学术项目评估主要分为4个阶段:数据收集与分析、参评单位自评、外部评审委员会阅读材料并实地考察、参评单位与学术评议会对评估报告进行评议并发布评估结果。加州大学伯克利分校的学术项目评估体系通过自查与同行评议相结合,注重查找问题并比较分析,同时采用同行评议来保证评估的客观和高标准,并以评估结果为依据,对学科专业结构进行宏观调控,保障了学科的覆盖面和多样性。
近年美国俄亥俄州立大学也对学校博士点进行了内部评估,并被美国一些大学视为典范。俄亥俄州立大学的内部评估架构由研究生院、学术委员会及学院三方共同组成,其数据来源主要分为两类:一类是内部数据,主要来自各学院提交的学院博士点自我评估报告;另一类则来自NRC的美国博士点数据,包括研究活动数据、教师和学生多样性数据等。评估结果将学科点分成6个等级,分别是高质量的博士学科点、实力强的博士学科点、良好的博士学科点、新设及正在发展的博士学科点、需要重新评估或重构的博士学科点和不再投入或撤销的博士学科点。根据此评估结果,俄亥俄州立大学进行了资源配置和结构重组,增加了对有助于提升学校声誉的博士学科点的投入,撤销或减少了对提升学校声誉无益的博士学科点的投入,以达到提升博士学科点整体学术能力的目的。
通过上述调研发现,国内外大学纷纷开展了内部学术竞争力评估工作,学术竞争力评估也是大学自主评估的重要组成部分。与国家科研评估和大学排名评估相比,大学自主开展的学术竞争力评估不论在评估体系的设计上,还是指标的选择上都更加灵活。大学可以根据自身情况设计符合本学校实际情况和发展战略的学术竞争力评估指标体系,采用各种定量、定性和比较的方法,对大学的现状、潜力和优势进行全面、系统的分析。在评估视角的选择上,也可包含多个维度:从纵向角度与自身往年的学术竞争力比较,可了解既往政策是否取得成效;从横向角度与国内外大学比较,可明确自身在国内大学与国际大学中的定位,寻找与一流大学的学术竞争力差距。
总之,将学术竞争力评估应用于大学的自主评估,可以帮助大学进行自我诊断,发现自身在科研建设中存在的问题与不足,从而制定与之相应的改进措施,不断提高科研成果的质量与水平。同时,也可为大学的管理和决策提供依据,特别是为有关政策的制定和科研资源的合理配置提供数据支持。