目前国内学界对于人才政策的评估研究既包括政策本身吸引力水平的评估 ,也包括政策执行过程与实施效果的评估。不过,学界关注的重心在于政策执行过程与实施效果的评估,所使用的主要是一些无法排除非政策因素影响的评估方法。
政策执行过程评估是对政策绩效的运行监控,它关注政策绩效指标的开发以及基于指标的截面数据收集,通常通过所收集的数据与政策阶段性目标的比较来判断政策执行是否符合政策预期。在海外人才引进项目评估中,学者通常基于不同的概念框架开发绩效评估指标,并收集政策实施后某一时点的指标数据,以评估政策实施效果。一些学者从投入-产出角度,从科学研究、人才培养和学术综合方面构建国家高层次人才计划评估指标体系。在这些指标基础上,他们又借助问卷调查、履历分析等方法收集相关指标数据,并对实施效果进行评估,结果发现总体上高层次人才计划的收益大于成本。针对高层次人才计划的政策绩效测量,学者所开发的测量指标更多地集中于政策影响方面,如杨芳娟、刘云 从科学论文的计量分析角度,将年均SCI发文量、国家、机构、作者以及基金资助机构作为测量指标,通过对入选者论文进行计量分析,指出高层次人才计划入选者整体具有较高的学术发展力。
政策实施效果评估通常借助历时性数据实现政策实施前后的比较,进而判断政策是否产生了预期效果。在对历时性数据进行政策实施前后比较时,可以采用不同的评估手段。目前我国学者常用方差分析或 t 检验的方法进行高层次人才引进政策前后数据的均值比较,以辅助判断政策实施效果。这种评估方法的前提假设是:政策实施前后的数据变化均源于政策实施,非政策因素的影响可以忽略不计。而在评估高层次人才计划的政策实施效果时,一些学者以前三批30位入选者为研究样本,比较入选前后他们的学术成果,发现40%的入选者在引进后3年内发表的论文数量超过了引进前3年,16.7%的入选者论文数量与引进前持平,43.3%的入选者在引进后发表的论文数量少于引进前。
无论是通过绩效测量还是政策实施效果评估,研究者的结论是类似的,即政策实施效果总体上是良好的,政策的实施对各方面产生了正向影响,基本实现了预期效果。但是,需要指出的是,从目前国内文献来看,研究者在进行人才政策实施效果评估时,主要还是将政策视作一个外在的环境变量,并没有真正将政策作为一个自变量去分析政策与实施效果之间的因果关系。在评估时,研究者通常将政策暂时搁置一边,关注政策产出或结果数据的收集以及政策实施前后数据的比较。在这样的情况下,政策评估结论以其他因素未对产出或效果的数据产生任何干扰作用为前提,从而将数据变化简单地视为受政策影响的结果。显然,这种评估方法并不能真实反映政策实施效果,结论的得出过于草率。
国外学者在研究学术表现的影响因素时更倾向于采用回归分析法。但是,将回归分析法用于评估政策对学术表现的影响时,需要从政策中提取一些可用于回归分析的自变量。孟华 对地方人才引进计划的政策实施效果进行评估时,从九个省份的人才引进政策中提取出政策自变量,进而采用回归分析法实施了政策评价。不过,在研究单一政策的影响时,政策自变量的提取相对困难,因此,目前我国高层次人才政策实施效果评估还未能很好地利用这种方法。张再生和牛晓东 在评估天津市人才政策实施效果时,曾尝试提取政策因素,并对政策因素与产出进行相关性检验。只是他们的产出因素使用的是人才净增量累计数,此类指标以政策设计的人才引进数量为基础,现实中难以真实反映政策实施的实际效果。
事前事后准实验设计与双重差分模型是公共政策评估中评估政策净影响的重要方法,两种方法都依赖于通过实验组与对照组的比较来排除非政策因素的干扰作用。但是,目前这两种评估方法在高层次人才战略实施效果评估中并未得到应有的重视。
在事前事后准实验设计中,为了评估政策净影响,首先需要分别设立实验组和对照组,并实现实验组与对照组的两两配对。实验组与对照组的配对标准通常是影响政策实施效果的非政策类因素,以保证实验组与对照组在非政策影响因素方面大致相当,从而实现对非政策因素的控制,达到对政策净影响的评估。
在实验组和对照组的样本确定后,需要计算实验组和对照组在政策实施前和政策实施后的绩效差值,从而得出有政策影响(实验组)和无政策影响(对照组)两种条件下的绩效变动情况。在此基础上,用实验组差值扣除对照组差值,即得出政策对政策对象产生的净影响。如果政策净影响值为正数,则表明政策产生了推动作用;如果净影响值为0或负数,则说明政策没有影响或产生了负面影响。
一般在计算政策净影响时采用以下公式:
政策净影响=(实验组政策实施后绩效-实验组政策实施前绩效)-(对照组政策实施后绩效-对照组政策实施前绩效)
最后,为了验证政策净影响是否具有统计显著性,还需要对实验组与对照组的绩效差值进行配对样本 t 检验。
双重差分模型可以对政策与非政策因素的作用进行再次检验。它的基本思想是通过对政策实施前后对照组与实验组之间的差异进行比较,从而构造出能够反映政策实施效果的双重差分统计量,政策净影响体现在分组虚拟变量与政策实施虚拟变量的交互项上,如果交互项通过了显著性检验,则可以认为政策产生了显著影响。
在双重差分模型的分析中,根据研究需要,首先需要进行随机性检验和同质性检验,然后进行双重差分模型分析,确定政策是否产生了显著净影响,最后进行稳健性检验。为了进行同质性检验,必须获取政策实施前的多年数据,才能判断在政策实施前实验组与对照组之间是否具有相同趋势。稳健性检验可以采用两种方式进行回归分析:一是选取政策实施前的年份,并假定政策是在之前实施的,继而实施回归分析;二是在非全覆盖项目下,将未采取相应政策的群组作为实验组进行回归。如果虚构回归分析下的双重差分的估计值不显著,则通过了稳健性检验,说明原来的双重差分模型估计结果可接受,否则就说明双重差分模型估计结果出现了偏误。