第三章
不确定性分析

在综合评价的过程中，选择不同评价指标、不同指标权重、不同评价方法和不同利益相关者，都可能影响评价对象的排序，使评价结果具有不确定性。因此，分析这些不确定性对综合评价结果的影响，以评估决策结果的稳健性显得尤为重要。本章将介绍综合评价中不确定性的分类及分析方法。

第一节　基本概念

综合评价中的不确定性按来源可分为四类：随机不确定性（stochastic uncertainty）、参数不确定性（parameter uncertainty）、异质性（heterogeneity）和结构不确定性（structural uncertainty）。

随机不确定性又称为一阶不确定性（first-order uncertainty），是指综合评价模型参数的随机性，即专家或决策者给出的评价指标权重的变异程度。可采用标准差、变异系数等反映离散程度的统计量表示，本章不予以详述。

参数不确定性又称为二阶不确定性（second-order uncertainty），是指综合评价模型的指标权重赋值或各指标等级分值等点估计值的不确定性，反映了抽样误差的大小。可采用专家一致性系数、专家意见协调系数等指标反映，并使用确定性敏感性分析、概率敏感性分析等方法予以评价，是不确定性分析的重要任务。

异质性是指可归因于决策者特征的变异，如专家的年龄、职称、权威程度、对评价内容的熟悉程度等对指标权重的影响。可通过亚组分析比较不同特征的决策者给出的指标权重或给待评价对象的打分是否存在差异。异质性与参数不确定性的不同之处在于：异质性可以归因于已知的（被测量的）专家特征，而参数不确定性不能归因于这些特征。

结构不确定性又称为模型不确定性，是指综合评价方法的选择、评价指标的选择、评价体系的完整性、评价体系层次结构的合理性等方面的不确定。可通过情景分析、模型集成等方法予以评价，例如使用不同的评价指标集来分析综合评价结果是否一致。

参数不确定性和结构不确定性是综合评价结果稳健性的关键决定因素。接下来，本章重点介绍这两种不确定性的分析方法。

第二节　参数不确定性的分析方法

本节将介绍几种常见的参数不确定性的分析方法。其中，确定性敏感性分析每次只改变一个参数，容易实现，最为常用；概率敏感性分析要求同时改变多个参数，实现需借助R、MATLAB等计算机软件进行蒙特卡罗随机模拟；贝叶斯网络、人工神经网络（详见第十一章）、证据理论等是不确定性信息融合的重要算法，可将参数不确定性融入综合评价模型；模糊集理论（详见第九章）和灰色系统理论（详见第十六章）也是处理参数不确定性的常用方法，可与经典综合评价方法融合为新方法，例如模糊层次分析法。

一、确定性敏感性分析

确定性敏感性分析（deterministic sensitivity analysis，DSA）又称为单因素敏感性分析，包括简单敏感性分析（simple sensitivity analysis）和阈值分析（threshold analysis）。简单敏感性分析是指每次只改变一个参数，如某个指标的权重，并观察排序结果是否改变。若排序不变，则认为评价结果是稳健的。通常，参数的变化范围可取其点估计值的95%可信区间，或点估计值±20%。阈值分析是指使评价结果（排序）发生改变时，某个参数所需的最小变化量。

二、概率敏感性分析

概率敏感性分析（probabilistic sensitivity analysis，PSA）指同时改变多个（或所有）参数并观察评价结果。可按以下步骤进行：①根据统计描述、专家意见或文献，确定模型参数的先验分布；②确定模型参数的取值范围，一般为点估计值的95%可信区间，或点估计值±20%；③进行蒙特卡罗模拟，使各评价指标的权重在事先规定的取值范围内变化，并使其服从特定的概率分布；④完成模拟实验后，观察评价对象的排序结果，计算每种结果的概率。

模型参数的先验分布可通过统计量得到。例如，专家给指标赋予的权重 W 服从正态分布时，即 W ～ N （ μ ， σ ² ），则统计量为均数及方差。若专家从给定方案中选择一套最佳方案，则 n 名专家中选择权重赋值方案A的人数刚好为 X 的概率 p 服从二项分布，即 X ～ B （ n ， p ）。此外，分布参数的获取也可参考文献。如果无法确定先验分布，则可使用无信息先验（即均匀分布）代替。

三、贝叶斯网络

亦称“信念网络”，它借助有向无环图来刻画属性之间的依赖关系，并使用条件概率表来描述属性的联合概率分布，是目前不确定性分析最有效的理论模型之一。一个贝叶斯网B由结构G和参数Θ构成，即B=＜G，Θ＞。贝叶斯网假设每个属性与它的非后裔属性独立，给定父结点集 π _i ，则B=＜G，Θ＞将属性 x ₁ ， x ₂ ，…， x _n 的联合概率分布定义为：

综合评价中，决策者可借助贝叶斯网描述评价指标（准则）之间的关系。若决策者对条件概率无先验知识，则可通过假设先验和训练数据来更新贝叶斯网。贝叶斯网为不确定学习和推断提供了基本框架，因其强大的表示能力、良好的可解释性而广受关注。

四、证据理论

经典概率理论预设了试验所有可能的结果及其发生概率，但难以合适地表达“无知”，难以区分“不知道”和“不确定”。Dempster-Shafer证据理论（简称D-S理论或证据理论）是一种不确定推理的形式化理论，它试图描述决策者在确定事件的发生概率时，证据的不充分性。该理论由A.P.Dempster于20世纪60年代首先提出，后由G.Shafer进一步进行扩充和完善，形成了用于处理互补信息和不确定性的一种形式化理论。它能够将大量繁杂的、不同方面的、主观的不确定信息，通过D-S理论信息融合原理有效地转化为确定性的决策性结果。该理论包含5个基本要素，即识别框架、基本概率分配函数、信念函数、似然函数以及Dempster合成法则。由于符号较多，为方便读者辨别记忆，现将各符号的含义总结如下，见表3-1。

（一）识别框架

设Θ=｛ ω ₁ ， ω ₂ ，…， ω _n ｝为识别框架（frame of discernment），它包含了所有可能结果的集合，该框架中的元素 ω ₁ ， ω ₂ ，…， ω _n 数量有限且互斥。Θ的幂集2 ^Θ 所构成的命题的集合为：

例如，交通信号灯的颜色只可能为红、黄、绿三种颜色，因此其识别框架为Θ=｛红，黄，绿｝；其幂集所构成的命题集合为2 ^Θ =｛∅，红，黄，绿，红或黄，红或绿，黄或绿，红或黄或绿｝。该集合中，“红”“黄”“绿”这一类命题表征的是确定的信息；“红或黄”“黄或绿”“红或绿”表征的是信息的“不确定”；而“红或黄或绿”表征的是“不知道”，因为该命题包含了所有可能的结果。

（二）基本概率指派

确定了识别框架和命题，接下来要确定各命题的概率。通过先验知识、文献、专家意见等方法，给不同命题赋予一定的概率，称为基本概率指派。设 m 为基本概率指派函数（basic probability assignment，BPA），则对于任意一个隶属于Θ的命题A，有 m （A）∈［0，1］，并满足：

式中，空集∅的基本概率指派为0；Θ中所有子集的基本概率之和为1。若 m （A）＞0，则称A是Θ上的基本概率指派 m 的焦元（focal element）；所有焦元的集合构成该基本概率指派的核（core）。与贝叶斯理论不同的是，D-S理论将基本概率指派给Θ中元素所有可能的组合（即2 ⁿ 个子集）；而贝叶斯理论则将概率指派给的Θ中的 n 个成员。

（三）信念函数

信念函数（belief function）表示某个命题为真的信任程度。设B是A的子集，即B⊆A；设 Bel （A）为命题A的信念函数，则有：

若A=｛ ω ₁ ， ω ₂ ｝，则A的子集包括｛ ω ₁ ｝、｛ ω ₂ ｝、｛ ω ₁ ， ω ₂ ｝和∅。因此， Bel （A）= m （｛ ω ₁ ｝）+ m （｛ ω ₂ ｝）+ m （｛ ω ₁ ， ω ₂ ｝）+ m （∅）。此外，信念函数不满足可加性，即不能由 Bel （A）来计算其否定命题的 Bel （ ）。换言之，只能用 Bel （A）来表征命题A为真的信任程度，但不能用1- Bel （A）来表征命题A不为真的信任程度。

（四）似然函数

似然函数（plausibility function）是不否定命题的信任程度，又称不可驳斥函数或上限函数。设命题A和B是Θ的子集；设 Pl （A）为命题A的似然函数，则有：

用［ Bel （A）， Pl （A）］表示命题A的信任度区间，用 I （A）= Pl （A）- Bel （A）表示命题A的不确定度，如图3-1。

例3-1 现有三套备选方案治疗银屑病，依次为外用药T、物理治疗P和系统用药S；其中一种为最优方案，则识别框架Θ=｛T，P，S｝。设命题A=｛P，S｝，表示P最优或者S最优，可以理解为某证据支持P和S均优于T，但无法确定P和S哪个更优，以表征不确定性；设命题B=｛S｝，表示S最优。根据文献，各命题的基本概率依次为 m （｛T｝）=0.01， m （｛P｝）=0.1， m （｛S｝）=0.6， m （｛P，S｝）=0.2， m （｛T，P，S｝）=0.09；其余命题的基本概率指派均为0。求解命题A和B的信任函数及似然函数。

根据公式3-4，A的信任函数等于识别框架Θ中隶属于A的所有子集的基本概率之和，容易求得：

Bel （A）= Bel （｛P，S｝）= m （｛P｝）+ m （｛S｝）+ m （｛P，S｝）=0.1+0.6+0.2=0.9

同理， B =｛S｝中仅包含一个元素，故其信任函数与基本概率指派相等：

Bel （B）= Bel （｛S｝）= m （｛S｝）=0.6

根据公式3-5，A的似然函数等于1减去A的否定命题，即｛T｝的信任函数，因此：

Pl （A）= Pl （｛P，S｝）=1- Bel （｛T｝）=1-0.01=0.99

同理，B的否定命题为｛T，P｝，因此：

Pl （B）= Pl （｛S｝）=1- Bel （｛T，P｝）=1-（0.01+0.1+0）=0.89

由此可见，命题A的信任区间是0.90～0.99，不确定度为0.09；命题B的信任区间是0.60～0.89，不确定度为0.29。可知命题A较B更为可信，且不确定性更低。

（五）Dempster合成法则

上述概率指派来自同一证据。当存在多个证据、多个评价属性或者多个专家意见时，则需按照Dempster合成法则对证据进行合并。

对于两个证据的情形，令命题S⊆Θ， m ₁ 和 m ₂ 分别为Θ上的两个基本概率分配函数，其正交和为：

若 k ≠1则正交和 m 也是一个概率分配函数； k =0表示证据或专家意见完全一致； k =1表示 m ₁ 和 m ₂ 完全矛盾，不能合成。

对于多个证据，同理有：

若概率分配函数中所有焦元都是单个假设集，且满足贝叶斯独立条件时，Dempster证据合成公式就是贝叶斯公式。因此，贝叶斯公式是Dempster公式的特例；Dempster公式是贝叶斯公式的推广。

例3-2 现要从Y、Z两种疫苗中选择一种最优的疫苗进行推广应用，则识别框架Θ=｛Y，Z｝。根据疫苗的有效性和安全性证据，分别得到基本概率指派函数 m ₁ 和 m ₂ ，其中：

有效性证据： m ₁ （Y）=0.4， m ₁ （Z）=0.5， m ₁ （Y，Z）=0.1

安全性证据： m ₂ （Y）=0.6， m ₂ （Z）=0.3， m ₂ （Y，Z）=0.1

假定疫苗的有效性和安全性同等重要（权重相等），试合成这两条证据，求解合成后Y和Z的基本概率指派。

根据Dempster合成规则，有：

疫苗Y最优的基本概率指派为：

同理， m （｛Z｝）=0.396 6， m （｛Y，Z｝）=0.017 2。根据公式3-4和3-5，容易求得疫苗Y最佳的信任区间为0.586 2～0.603 4，疫苗Z最佳的信任区间为0.396 6～0.413 8。因此，疫苗Y最佳的可能性高于疫苗Z。

（六）D-S理论的问题与发展

1.识别框架的构建

D-S理论要求构建一个包含所有可能命题的完整识别框架；但有学者提出，在实际应用时，研究者常常难以确定一个完备的框架，而框架的不完整是证据冲突的根源。Smets提出应允许空集的基本概率不为零，即 m （∅）≥0，以表征真命题在识别框架之外的可能性；Janez等提出开放识别框架下信息融合方法；Yaghlane等提出了一种缩减识别框架中元素的方法。

2.基本概率指派的生成

生成基本概率指派是D-S理论实际应用的第一步，也是关键所在。根据是否利用了先验知识，可将其分为非监督方法和监督方法。非监督方法主要包括：①模糊C均值聚类；②模糊数法（构建模糊隶属度函数）。监督方法主要包括：① k 最近邻算法等基于距离的方法（与先验知识或典型样本的相似程度）；②贝叶斯分类器（利用先验概率和样本数据推导出后验概率）；③人工神经网络；④多个分类器的集成算法。

3.证据冲突的表征与度量

经典D-S理论用 k 表征证据冲突程度，但实际上其表征的是子集之间的非包含程度。Jousselme等提出了一种基于证据间距离的冲突度量方法；Liu等提出了一种结合 k 与Pignistic概率距离的冲突度量方法；蒋雯等提出了一种基于证据关联系数的冲突度量方法。

4.冲突证据的合成

当各证据高度冲突且 k ≠1时，理论上仍然可以合成证据，但会出现与常理相悖的合成结果。国内外学者提出了众多解决方法，大致可归纳为两类：①改进Dempster组合规则，如Smets等提出的可传递置信模型、Yager等提出的统一信度函数法、基于集合属性的证据重构法、局部冲突的局部分配法；②基于证据冲突程度或其他方法对原始证据赋予权重，如Murphy提出的加权融合算法、Shafer提出的折扣融合算法。

5.计算的复杂性

D-S理论组合规则要求计算识别框架内所有子集之间的正交和，而子集个数为2 ⁿ ，因此计算的复杂程度会随着元素数量的增加而呈指数增长。针对该问题，国内外学者提出了一些解决方案，如Voorbraak提出信任函数的贝叶斯近似算法、Kreinovich提出基于蒙特卡罗的随机模拟方法、Denoeux等提出粗化识别框架以减少焦元数量的方法、王壮等提出基于截断型D-S的快速证据组合方法。

五、模糊集理论

经典集合论认为，论域 U 中的每一个元素 x ，是否从属于子集A，都可用特征函数｛0，1｝表示，即0表示 x 不属于集合A，1则表示属于A。但模糊集理论认为， x 可以同时隶属于多个模糊子集，以表征其不确定性。 x 的隶属程度用 μ （ x ）表示，称为隶属函数，值域为［0，1］的连续区间。综合评价中，可通过专家咨询法确定指标权重，但专家评分具有不确定性，因此可采用模糊集理论将评分的不确定性融入决策。下面介绍三种常用的模糊数生成方法，更多内容和实例可参考本书第九章。

（一）三角模糊数

若模糊数 A 的隶属度函数为：

则称模糊数 A 为三角模糊数。当 ω =1时，称 A 为正则三角模糊数，记为 A =（ a ， b ， c ；1）；当0＜ ω ＜1时，称 A 为广义三角模糊数，记为 A =（ a ， b ， c ； ω ）。

在Saaty权重法中，指标之间的重要性比较分为“同等重要”“略为重要”“基本重要”“确实重要”“绝对重要”五个等级，分别用数字1、3、5、7、9表示，当介于两个相邻程度的中间值时，则用2、4、6、8表示。为了表征专家评分的不确定性，可采用三角模糊数 a _ij =（ l _ij ， m _ij ， p _ij ）表示指标 i 与指标 j 相比，其重要性的模糊程度（表3-2）。同理，指标 j 与指标 i 相比，其相对重要性的三角模糊数为 。

以模糊层次分析法为例，按以下步骤计算指标权重：

1.收集专家的打分，并依据表3-2（或者先验知识）生成三角模糊数。

2.综合多名专家打分，依次求取指标 i 相对指标 j 重要性的三角模糊数 l _ij 、 m _ij 、 p _ij 的算数均数，得到模糊矩阵。

3.计算指标 i 相对于其他指标重要性的模糊程度，得到指标 i 的初始权重：

式中， 表示指标 i 相对于指标 j 重要性的三角模糊数的正交和，即：

同理， 表示矩阵中所有元素的正交和，其倒数为：

4.进行去模糊化。指标 i 相对于 j 的重要性（ Q _i ≥ Q _j ）的隶属函数为：

指标 i 相对于其他 k 个指标的重要程度的可能性为：

5.对指标权重进行归一化处理，详见本书第二章。

例3-3 采用医疗卫生（C ₁ ）、环境健康（C ₂ ）、经济发展（C ₃ ）三个一级指标评价“健康城市”。3名专家按Saaty法对一级指标的相对重要性进行评分，获得如表3-3矩阵。试求取各一级指标的权重。

对于本例，若不考虑参数不确定性，则先计算专家评分的均数，再按第二章公式（2-13）用近似解法求各指标权重，最后计算归一化权重，见表3-4。

若考虑专家评分带来的参数不确定性，则可采用模糊层次分析法估计权重，具体步骤如下：

（1）根据表3-2和表3-3，给出3名专家（E ₁ 、E ₂ 、E ₃ ）打分的三角模糊数。

（2）计算3名专家评分三角模糊数 a _ij =（ l _ij ， m _ij ， p _ij ）的算数均数，得到模糊矩阵。

（3）根据公式（3-10）计算指标 i 相对于 j 重要性的三角模糊数的正交和。

（4）计算矩阵中所有元素的正交和。

（3.33，6，7）⊕（2.31，2.78，4.16）⊕（1.83，2.5，3）=（7.47，11.28，14.16）

（5）根据公式（3-11）计算其倒数。

（6）根据公式（3-9）计算3个指标的初始权重。

（7）根据公式（3-12）进行去模糊化，对指标的重要程度进行两两比较。

（8）根据公式（3-13）计算指标 i 相对于指标的重要程度的可能性。

（9）计算归一化权重：指标C ₁ 的权重为1/（1+0.54+0.35）=0.529；同理，C ₂ 为0.286，C ₃ 为0.185。本例利用三角模糊数处理了专家评分的不确定性，减少了赋权方法的主观性。

（二）梯形模糊数

若模糊数 A 的隶属度函数为：

则称模糊数 A 为梯形模糊数。当 ω =1时，称 A 为正则梯形模糊数，记为 A =（ a ， b ， c ， d ；1）；当0＜ ω ＜1时，称 A 为广义梯形模糊数，记为 A =（ a ， b ， c ， d ； ω ）。

（三）高斯模糊数

三角或梯形模糊数容易受到离群值干扰，稳定性较差。样本量较大时，可基于先验分布构建其他类型的模糊数。以正态分布为例，模糊数 A 的隶属度函数为：

六、灰色系统理论

灰色系统理论由我国学者邓聚龙教授提出。它是一种研究小样本、信息不足的情形下不确定性问题的方法。该理论用黑数、白数和灰数来表征不确定性：黑数表示完全缺乏知识，范围是-∞到+∞；白数表示信息完全，可用一个确切的数字表示；灰数则介于这两个极端之间，是指知道大概范围而不知其确切值的数字，用一个区间表示，记为⊗。

灰数可分为以下几类：①仅有下界的灰数，记为⊗∈［ a ，∞）；②仅有上界的灰数，记为⊗∈［-∞， b ）；③区间灰数，记为⊗∈［ a ， b ］；若 a = b ，则黑数变为白数；若上下界均为无穷，则灰数变为黑数；④离散灰数，即区间黑数中元素的个数有效；⑤本征灰数，指不能找到一个白数作为其“代表”的灰数，例如宇宙的总能量；⑥非本征灰数，指能够根据先验知识或某种方法，找到一个白数 c “代表”的灰数，该白数称为灰数的白化值，记为 。在综合评价中，灰色系统理论要求决策者提供指标权重或分数的下上界，由此得到各备选方案得分的区间。更多内容和实例可参考本书第十六章。

第三节　结构不确定性的分析方法

结构不确定性是一个非特指性术语，指不能归类于随机不确定性、参数不确定性和异质性的剩余部分。在医学综合评价中，产生结构不确定性的原因很多，例如：评价指标的选择、被评价对象或方案的组成、综合评价模型的选择、临床证据的不确定性等。对于评价指标或模型的选择对结果造成的不确定性，可采用情景分析、模型选择、模型集成等方法予以分析。

一、情景分析

情景分析（scenario analysis）是指在不同的假设下，选择不同的评价指标，或设置不同的参数，观察和比较不同情景下的评价结果。例如，阿司匹林、氯吡格雷等抗凝药物可以预防缺血性脑卒中，进行效果评价或成本效果评价时，常以脑卒中死亡率的下降作为效应指标。但这类药物可能引起出血等不良事件，也可能通过未知原因造成患者死亡。在信息不全的情况下，仅以脑卒中相关死亡作为终点事件可能造成结构不确定性，甚至违背研究假设。在处理这类不确定性时，研究者可以设立不同情景（即不同假设），并进行敏感性分析，例如：情景1，将非脑卒中造成的死亡归类于删失事件（censoring）；情景2，将非脑卒中造成的死亡归类于终点事件；然后比较不同情景下某干预的效果或增量成本效果比。

综合评价中，决策者的偏好和经验也可能造成结构不确定性。可以根据偏好采用不同的评价指标进行评价；或者设立不同情景，展开乐观决策、悲观决策、折中决策、后悔值决策、等概率决策等不确定性分析。

二、模型选择

模型选择（model selection）是指根据模型的精度指标，如均方误差（mean squared error）、决定系数、主观概率（subjective probabilities）等单个或多个指标，选择最佳模型。若为多目标决策，则该方法未必适用。此外，选择“最佳”模型而忽略其他模型可能造成结构不确定性的低估和信息偏倚。

三、模型集成

模型集成（model integration）是指融合多个模型，基于某种方式实现测试数据的多模型融合，使最终的结果能够“取长补短”，降低单一模型的不确定性。在综合评价中，模型平均法（model averaging）较为常用，是指将不同模型的结果按照一定权重求取平均值，得到组合评价结果。下面介绍几种模型集成的方法。

（一）模型平均法

若评价结果是数值（定量资料），则可采用平均法进行组合评价。公式（3-16）中， W _i 是模型 i 的权重， h _i （ x ）是模型 i 的评价结果。综合评价中，可对排序结果或评价值进行平均。对排序结果（序次）的平均忽略了不同名次之间的差距，将导致有效信息的损失。与序次平均法相比，对评价值的平均包含的信息更精确，但忽略了不同方法的可信度，也没有考虑抽样误差的影响。

针对抽样误差对评价结果的影响，王一任等学者提出“整体排序平均优先度”的组合方法：该方法首先对不同方法排序的一致性问题进行统计学检验，再通过随机模拟生成不同方法的优先度，最后求取优先度的均数并进行排序（详见本书第十七章）。针对不同模型可信度不同的问题，蒋雯等学者提出一种基于评价结果（证据）一致性的加权平均法：若一个评价结果与其他结果一致性较高，则认为该结果具有较高的可信度，在组合评价时，应赋予其较高的权重。

（二）投票法

若评价结果是分类（定性资料），则可采用投票法进行组合评价，包括绝对多数投票法（超过半数）、相对多数投票法（票数最多）、加权投票法（对不同模型的结果赋予不同权重）。随机森林采用的就是投票法，它在决策树的基础上引入随机属性选择，对多棵决策树分类结果进行投票，据此得到最终的分类结果。

（三）学习法

采用另一个学习器来结合多个模型的评价结果；其中个体模型称为“初级学习器”，组合模型称为“次级学习器”。贝叶斯模型平均（Bayesian model averaging，BMA）是一个应用广泛的模型组合方法，它基于后验概率为不同模型赋予权重，将先验知识与模型和数据信息相融合，反映信息更新的动态过程，是处理综合评价中结构不确定问题的有效方法，也是模型平均法的一种特殊实现。公式（3-17）是BMA的数学表达， 表示给定数据 D 时模型 M _i 的后验概率， Y _Mi （ X ）表示给定数据 D 时模型 M _i 的预测值（评价值）， Y _BMA （ X ）表示按照后验概率加权后各模型的组合预测值（评价值）。

此外，证据理论、动态分类器选择、混合专家等方法也是模型集成的常用方法。

第四节　应用注意事项

综合评价中，因评价指标选择、指标权重确定、评价方法选择等多种因素所致评价或排序结果的不确定性。按照来源，不确定性可分为四类，其定义及统计学中的类比概念见表3-5。

开展不确定性分析时，应注意其影响因素及控制方法，并选择适合的方法。

一、影响因素

首先是评价指标的选择。不同利益相关人或参与决策的专家可能选择不同的评价指标，从而造成结构不确定性。其次是指标权重的确定。不同特征的专家可能对评价指标的重要性有不同理解，并赋予不同权重，从而造成参数不确定性和异质性。第三是综合评价方法（模型）的选择。不同综合评价方法可能产生不一致的排序结果，同一种评价方法也可能因为评价对象的不同而产生不一致的排序结果，从而造成结构不确定性。

二、控制方法

在项目实施阶段，控制或减少不确定性的方法包括：①邀请相关领域工作经验丰富的一线专家，遴选时可限定工作年限或职称；②回避职务过多、工作过于繁忙的专家，以提高专家咨询的质量；③采用随机专家集，即在专家库中进行随机抽样；④采用多种形式的专家咨询，譬如函评结合会评的方式解决专家间不一致的问题，通过讨论达成共识；⑤应用多种方法选择评价指标，例如主观方法结合统计学方法，在符合专业解释的基础上优先考虑统计学上更优的指标；⑥依据专家熟悉程度、权威程度等指标，给不同专家的评分赋予不同权重。

三、分析方法的选择

在数据分析阶段，可应用以下方法处理参数和结构不确定性。

1.确定性敏感性分析是分析参数不确定性最简单、最常用的方法。该方法每次只改变一个指标权重或评分，观察结果的稳健性，适用于大多数综合评价的情形。

2.真实世界中可能同时存在多参数的不确定性，且可能相互关联。概率敏感性分析同时考虑多个参数的不确定性，常与确定性敏感性分析联合使用。应用中，须借助蒙特卡罗随机模拟来评估多个参数同时改变时结果的稳健性。

3.在组合多个证据或多名决策者意见时，贝叶斯网络和D-S证据理论十分有用。这两类方法不仅能够处理参数不确定性，还能融合多源异构数据（即不同类型、不同结构的证据），因此可用于结构不确定性分析当中不同模型或不同评价方法的结果融合。此外，模糊集理论和灰色系统理论也是将参数不确定性融入指标权重的常用方法。

4.决策者偏好、研究假设都与指标选择息息相关，并造成结构不确定性，而情景分析是处理这类不确定性的常用手段。模型集成则是用于处理综合评价模型或方法相关的结构不确定性，该方法通过简单的平均、投票，乃至复杂的学习过程，实现多个模型或证据的融合，降低单一模型的不确定性。

（沈敏学） etmr9hcGPK+xFLVM2xFxWxX5+WcaC4OFdoxllTzgVDO27cLmL4ZtCg4U+zV56ZYY