排序(ranking)是指评价者依据某种标准(如科学性、可行性、个人偏好等)为多个选项排出顺序,最优选项被赋值为 1,次优选项被赋值为 2……以此类推。打分(rating),又可称为定级或等级评估,是指评价者按照某种标准对各选项的类别或所处的水平进行评定;例如,用 1至 5的数字表示对一项政策的偏好程度,1代表完全赞同,5代表完全反对(或者 1代表完全反对,5代表完全赞同),其他数字表示居间的偏好程度。
排序与打分在政治学研究和政治实践中有着广泛的应用。在公共政策领域,决策者会邀请若干专家对各种备选方案进行排序,或对每个方案的各项属性进行打分,并据此挑选最优方案。决策者亦可能开展线上调查,请公众对各类公共服务的质量(如效率、便利程度等)进行评价。不过,对排序与打分最为直接的应用要算是选举投票了。投票实质上就是对公众偏好进行聚合从而选出优胜者。在政治学研究领域,我们有时需要利用专家打分法来确定变量的取值并将其用于后续分析;例如,在衡量一个国家或地区的法治水平时,我们除了使用一些客观数据外,还可能需要邀请专家对其进行主观评估和打分;而当测量对象的维度较多以至于难以用客观数据测量或客观数据不可得时,专家打分法更是成了必不可少的工具。
排序与打分在一定程度上是可以互换的。例如,评价者对四个选项的排序结果为D>A>B>C,这实际上就相当于为A、B、C、D四个项目打分,分值分别为 2(A排在第 2位)、3(B排在第 3位)、4、1,较小的数值代表较高的满意度。波达计数法(Borda method)是典型的排序与打分可互换的例子。
本章分为四个部分:第 1部分介绍测量评价者间信度的一般方法;第2部分集中介绍选举计票机制;第 3部分介绍拟合LLBT模型、模式模型和Plackett-Luce模型的方法;第 4部分将对多种排序聚合方法进行介绍。