第三节
问卷数据分析

问卷调查共分为两个部分，分别是针对指标体系构建过程中的专家函询和针对指标体系实证过程中各项指标之间的权重关系的专家函询。本节以指标体系构建过程中的专家函询数据为主，按照函询目的分为三个环节：第一轮“确定指标体系框架”，第二、三轮“调整指标体系”，第四轮“确定指标权重”。其中，课题组重点分析了“调整指标体系”过程中的专家积极系数、权威系数、意见集中程度、协调程度，并针对专家给出的意见进行了指标的筛选与调整。四轮专家函询表具体内容详见附录二至五。

一、确定指标体系框架

第一轮问卷以确定指标体系框架为主。本轮一共选取了30位来自不同区域（江苏、北京、福建、四川、上海、江西、陕西、湖北、山东、河北、湖南、辽宁、浙江）、不同岗位（馆长/党委书记、业务处室负责人、研究人员）、不同单位性质（高校、人物类纪念馆、事件类纪念馆）、不同从业时间（20年以上、11~20年、4~10年、4年以下）的纪念馆行业的领导专家或者从事纪念馆研究的专家学者来参与此次问卷调查。

问卷的评价维度与评价影响因素调研部分由量表题和填空题组成。量表题主要参考现有的与纪念馆评价相关的政策文件，以描述性语句阐述影响纪念馆发展的重要因素。同时为避免遗漏，在每个维度后面设立开放性填空题作为补充。问卷中涉及评价维度的主要有两道题，一道量表题，一道开放性填空题。量表题题项根据上文五大影响因素设计，涉及纪念馆的外部资源利用能力、内部资源保障程度、管理运行水平、业务发展水平、是否产生良好的社会效益与影响等。从专家评分来看，满分率分别为43.33%、80.00%、86.67%、96.67%、76.67%，30位专家中仅有一位专家对将“纪念馆的外部资源利用能力”作为评价维度持“一般”态度，此外各专家对5个维度作为评价维度均持赞同意见。在填空题中，有9位专家提出了除5个评价维度以外的评价维度，涉及人才队伍、纪念物、公众取向度、行业帮扶、创新能力、场馆设施、中长期规划、体制机制8个方面。

问卷涉及影响因素的部分共20道题，其中10道量表题（含118个题项）和10道开放性填空题。在量表题中，专家意见集中程度较高的主要在是否有充足的经费保障，是否有规范健全的业务体系，是否重视讲解员队伍建设，是否建立传播体系，是否拥有较高观众满意度以及藏品资源建设、陈列展览、学术研究、社会教育等基础业务开展水平等题项；专家意见集中度较低、意见波动较大的题项如表3-1所示，主要集中在纪念馆是否建立群众组织，是否拥有经费来源渠道，是否建立多元参与的监督机制，是否具有文物修复资格以及人员、设施、设备，数据是否对外开放，是否拓展开放时间，是否设立服务设施，是否拥有文创产品销售渠道等题项。在开放性填空题中，专家回答率相对较低，对相关影响因素做了更为细致具体的补充，为指标体系初步构建提供了一定参考。

注：赞同比=量表题中选择“赞同”“非常赞同”的专家总数/专家总人数；满分比=量表题中选择“非常赞同”的专家总数/专家总人数。

二、调整指标体系

根据第一轮函询结果，课题组开展第二、三轮问卷，用以调整指标体系。

（一）专家基本情况

第二轮函询表一共收到23位专家回复，在第三轮函询过程中，23位专家中有3位专家出于工作原因未按时回复。因此，为全面反映参与函询的专家情况，“专家基本情况”分析以第二轮23位专家数据为基础。23位函询专家来自全国13个省份。其中，专家学历硕士及以上学位的占54.55%，政治面貌为中共党员（含预备党员）的占95.65%，学科背景为文科的占82.61%，单位类型为革命类纪念馆、博物馆的占91.30%，岗位为管理岗位的占60.87%，职务为馆长、党委书记的占69.57%，职级为处级及以上的占91.30%，拥有高级职称的占56.52%，从事纪念馆工作年限在6年及以上的占69.57%。

（二）专家积极系数

专家的积极系数是指专家对本研究的关心、合作程度，一般以专家咨询表的有效回收率和意见提出率来表示。 若问卷的回收率越高，提出意见专家越多，表明专家的合作程度与参与程度越高，反之则越低。一般认为，50%的回收率是可以用来分析的最低比例，60%的回收率是好的，70%的回收率是比较好的结果。 本次研究专家积极系数用问卷回收应答率（RR）和意见提出率表示，计算公式如下所示（公式3.1、公式3.2），具体如表3-2。

问卷回收应答率（RR）= ×100%　公式3.1

意见提出率= ×100%　公式3.2

如表所示，第二轮专家积极系数为应答率92%，第三轮问卷专家积极系数为应答率87%，且两轮问卷均有专家提出意见，说明专家对本研究较为感兴趣，积极程度较高。

（三）专家权威系数

专家权威系数（Cr）一般由专家对咨询内容的熟悉程度（Cs）和对咨询内容作出判断的系数（Ca）两个因素决定。权威系数（Cr）等于熟悉程度（Cs）和判断系数（Ca）的算术平均数，一般认为权威系数大于等于0.7，则可信度高。 权威系数越大说明专家判断的科学性越大，可信度越高。权威系数（Cr）一般由专家自我评价为主，计算公式如下所示（公式3.3）：

Cr= 公式3.3

专家熟悉程度（Cs）主要测评专家对指标条目及内容的熟悉程度，计算公式如下所示（公式3.4）。熟悉程度分为5个等级，分别赋予不同的量化值：很熟悉=1，熟悉=0.8，一般=0.6，不熟悉=0.4，很不熟悉=0.2。

Cs= 公式3.4

根据第二轮函询表调查结果，有52.17%的专家认为对指标条目及内容“很熟悉”，有43.48%的专家对指标条目及内容“熟悉”，本次专家熟悉程度（Cs）为0.89；在第三轮函询中，有50%的专家认为对指标条目及内容“很熟悉”，有45%的专家对指标条目及内容“熟悉”，本次专家熟悉程度（Cs）为0.88。两次结果表明了专家对本研究比较熟悉，意见具有参考价值。

专家判断系数（Ca）主要测评专家对各指标条目判断的依据，以及依据的影响程度，计算公式如下所示（公式3.5）。判断依据分为实践经验、理论依据、参考资料、直觉选择4类，每一类分为大、中、小3类影响程度，专家判断系数计算公式如下，具体专家判断依据评分如表3-3所示。

Ca= 公式3.5

根据上述的专家判断依据评分表，结合第二轮函询中的专家数据，得到判断系数（Ca）为0.89。综合来看，有91.3%的专家认为在判断指标时，受实践经验影响较大，65.22%与52.17%的专家受参考资料和理论依据的影响中等，47.83%的专家认为直觉选择对指标判断的影响较小。在第三轮函询中，得到判断系数也为0.89。

根据以上对专家熟悉程度和判断系数的分析，可以得出第二轮函询专家权威系数为0.89，第三轮函询专家权威系数为0.885，如表3-4所示。可见本次调查专家权威系数较高，数据可信度较高，意见总体来说可以接受。

（四）专家意见集中程度

专家意见的集中程度用各指标重要性赋值分数的算术平均数（M _j ）和各指标的满分频率（K _j ）来表示。

均值（M _j ）的计算公式如下所示（公式3.6）：

M _j = C _ij 公式3.6

其中，m _j 表示参加j指标评价的专家数，C _ij 表示i评价者对j指标的评分值。均值（M _j ）越大，对应的j指标的重要性越高。

满分比（K _j ）的计算公式如下所示（公式3.7）：

K _j = 公式3.7

其中，K _j 表示j指标评价的满分比，m' _j 表示给满分的专家数，m _j 表示参加j指标评价的专家数。满分比（K _j ）数值越大，说明对该指标给满分的专家比例越高，该指标越重要。

根据第二轮函询结果，一级指标的重要性赋值均值为4.39~5，满分比为47.83%~100%，其中“内部资源支撑”“业务发展”两个指标满分比为100%，“外部资源运用”的指标满分比与均值最低，分别为47.83%、4.39。二级指标的重要性赋值均值为3.83~5，满分比为30.42%~100%，三级指标的重要性赋值均值为3.7~5，满分比为13.04%~95.65%，其中满分比低于30%的有“M62观众调查”（13.04%）、“E12行业帮扶”（21.74%）、“O23外部专家”（26.09%）、“E32境外观众人数”（26.09%）。

根据第三轮函询结果，一级指标的重要性赋值均值为4.25~5，满分比为25%~100%。二级指标的重要性赋值均值为4~5，满分比为15%~100%，其中“P2陈列展览”满分比为100%，“O2社会资源运用”“I2基础设施”满分比均低于30%，分别为15%、20%。三级指标的重要性赋值均值为3.7~4.95，满分比为15%~95%，其中“O24社会捐赠”“M53人才称号”“M63第三方评估”满分比最低，均为15%，具体如表3-5所示。

从两轮函询数据来看，第三轮函询与第二轮函询相比，各项指标的均值有所提高，标准差的极差呈现缩小趋势，可见专家数据正在逐渐收拢集中。

注：表中带“ ^* ”的数据表示，均值、满分比、综合指数等数据项在升序排列后位于前20%，变异系数项在降序排列后位于前20%，若出现同分值，则一并标出。

（五）专家意见协调程度

专家意见的协调程度是用来判断全部专家对全部指标给出的评价意见是否存在较大分歧，或找出高度协调的专家和持异端意见的专家。 专家意见协调程度用变异系数（V _j ）和协调系数（W）反映。

变异系数（又称标准差率）主要说明专家对某一指标重要性评价的波动程度，反映专家对某一指标条目意见的一致性程度，变异系数越小，说明专家一致性程度越高，对该条目的分歧越小。一般要求各项指标变异系数不大于0.25。 变异系数（V _j ）的计算公式如下所示（公式3.8）：

V _j = 公式3.8

其中σ _j 表示j指标评分的标准差，M _j 表示j指标评分的均值。

根据第二轮函询表数据显示，一级指标变异系数最高的为“外部资源运用”（0.149）；二级指标变异系数降序排列前20%的有“M2治理结构”（0.148）、“O3行业资源运用”（0.178）、“I4信息资源”（0.178）、“E3国际知名度”（0.257）；三级指标变异系数降序排列前5的有“O22志愿者”（0.164）、“I43文献数据资源”（0.164）、“M12组织文化”（0.164）、“M61部门合作”（0.164）、“P14藏品数字化”（0.164）。总体来看，专家对指标体系判断较为一致，分歧较小。

根据第三轮函询表数据显示，一级指标变异系数最高的为“效益与影响”（0.155）；二级指标变异系数降序排列前20%的有“O2社会资源运用”（0.141）、“O3行业资源运用”（0.136）、“M2组织机构与制度建设”（0.136）、“M3规划与计划”（0.136）、“M5协调控制”（0.136）；三级指标变异系数降序排列前5的有“O24社会捐赠”（0.174）、“M42人才引进”（0.199）、“P14藏品数字化”（0.170）、“P63文创产品”（0.175）、“E12行业帮扶”（0.192）。总体来看，专家对指标体系判断较为一致，分歧较小。综合两轮专家意见可知，各位专家对各级指标意见的一致性增加。两轮专家意见变异系数区间见表3-6。

协调系数用肯德尔和谐系数（Kendall's　W）表示。其取值范围为0~1，一般在0.3~0.5范围内波动。协调系数越大，经检验后具有显著性，说明专家意见协调程度越好，专家评估结果可信。 W系数越高，专家意见的共识程度越高，结论的准确性越高，一般W系数在0.7左右是最理想的共识程度。

专家协调系数计算公式如下所示（公式3.9）：

W= 公式3.9

其中n表示指标数，m表示专家总数。

为了保证协调系数可信和可靠，用协调程度的显著性检验表示，如公式3.10所示：

= 公式3.10

从两轮函询调研数据来看，第二轮专家意见的肯德尔系数在0.2~0.4区间，第三轮专家意见的肯德尔系数在0.3~0.5区间，协调系数的显著性检验均有统计学意义，说明专家意见协调性可信度较高；第三轮比第二轮肯德尔系数有所上升，说明专家意见一致性有所提高。具体如表3-7所示。

（六）专家意见整理

根据第二轮调研结果，共有7位专家提出了20余条建议，意见提出率为28%，具体意见以及回应情况如下：

一是针对指标的修改意见。

有一位专家提出，需要在指标体系中增加“纪念馆的愿景使命和价值清晰，以及团队对其的追寻与力行力度”“管理者对信仰的持守、对纪念馆发展不掺杂个人利益的秉持”，两者对纪念馆高质量发展的影响程度分别为“比较重要”“非常重要”。研究小组经讨论以及查阅相关文献认为，“纪念馆使命与价值的清晰度”若作为一级指标难以量化，而“追寻与力行力度”“管理者对信仰的坚守程度”则体现在纪念馆的各项业务之上，但考虑到对“纪念馆使命与价值”的认同与“M1党建工作与组织文化”指标有所关联，因此，将在专家意见基础上，在“M1党建工作与组织文化”下新增一个三级指标“使命认同”，内涵表述为“纪念馆职工高度认同、坚守纪念馆价值使命，并在实际工作中贯彻落实使命追求”。

有一位专家提出，“对党和国家重大决策的响应意识和措施”对纪念馆高质量发展而言“很重要”。研究小组经讨论以及查阅相关文献认为，纪念馆响应“党和国家的重大决策”一方面体现在对决策的学习领悟上，一方面体现于在重大决策指导下调整管理运行模式，或通过举办相关展览活动，服务党和国家大局。由于相关内容在“M11党建工作”“P22临时展览”“P41教育活动”等处已有体现，故不另增指标，而是在原有指标上更改相关表述。

有三位专家提出，增加二级指标“建筑与环境”，或在二级指标“I2基础设施”中，增加“建筑环境布局合理，环境整洁环保”。研究小组经讨论认为，“建筑环境”相关内容在“I21硬件设施”中有所体现，但可能存在三级指标表述不明的问题，因此，将原三级指标“I21硬件设施”改为“I21展厅与库房”。

有一位专家提出，在一级指标“效益与影响”下增加“品牌标志”，并认为影响程度“比较重要”。研究小组经讨论以及查阅相关文献后赞同专家意见，认为品牌标志是塑造博物馆良好形象的工具，也是博物馆形象、特征、信誉、文化的综合与浓缩，传播了十分丰富的内容 ，但同时认为在指标体系中，品牌标志更侧重对纪念馆传播的影响。因此，综合考虑专家意见，在二级指标“P5大众传播”下新增三级指标“P53品牌标志”。

有一位专家认为，根据指标体系中的“E23媒体显示度”，建议同等增加“网络媒体显示度”。研究小组经讨论认为，“网络媒体显示度”相关内容在“E22传播平台关注度”中有所体现，但目前指标命名表述不够清晰，因此，采纳专家意见，将“E22传播平台关注度”更改为“E22网络关注度”。

有一位专家提出，在指标“P13藏品保护管理”中增加“有藏品保护修复场所和基本的设备”“库房面积满足收藏需要”。研究小组经讨论认为，“库房面积满足收藏需要”在指标“I21硬件设施”已有体现，故不另行增加；“有藏品保护修复场所和基本的设备”在“P13藏品保护管理”中已有体现，但目前不够清晰，故在指标“I21硬件设施”增加相关内容。

有一位专家提出，在三级指标“P12藏品征集”中增加“制定符合本馆性质的藏品征集范围”，另外增加指标“藏品管理制度健全”，并认为以上因素对“中国革命纪念馆高质量发展评价”“很重要”。研究小组经讨论认为，“制定符合本馆性质的藏品征集范围”是藏品征集的前提，且原有指标中没有体现，故采纳专家意见，增加相应内容；“藏品管理制度健全”相关内容在“M42业务体系”已有体现，故不采纳专家意见。

有一位专家提出，在三级指标“P63文创产品”中增加“文创产品开发体现本馆特色”，并认为以上因素“很重要”。研究小组经讨论认为，原指标“P63文创产品：纪念馆开发多种体现纪念馆内涵价值和文化元素的文创产品”已涵盖专家所提意见，故暂不采纳。

有一位专家提出在三级指标“P33学术刊物与活动”中“创办学术刊物”的“创办”一词不够准确，建议更改。研究小组经讨论以及查阅相关文献认为，“创办”主要侧重于最先开始举办，与指标实际表达含义有所区别，因此采纳专家意见，改为“主办学术刊物”。

有一位专家认为，三级指标“I31经费保障形式：纪念馆的经费保障形式”“M53人才称号：纪念馆在职人员入职之后获得省级及以上人才称号或荣誉”“P41教育活动：纪念馆每年举办的讲座、课堂、寒暑假特色活动等各类教育活动数量”表述不明确。研究小组经讨论认为，上述指标表述没有完全反映指标需要体现的“高质量发展”内涵，因此，采纳专家意见，将指标表述修改为“I31经费来源渠道：纪念馆有多种经费来源渠道”“M53人才称号：纪念馆组织人事工作成效显著，在职人员入职之后获得省级及以上人才称号或荣誉”“P41教育活动：纪念馆每年积极一定数量举办讲座、课堂、寒暑假特色活动等各类教育活动，深入开展爱国主义教育、党性教育、‘四史’教育等，着力服务党和国家重大决策部署”。

二是针对核心概念修改情况。

根据调研结果，23位专家中有3位专家没有填写对“纪念馆高质量发展”概念的看法，有17位专家同意目前的定义。此外，有3位专家给出了修改意见，分别是：

建议将概念修改为“纪念馆高质量发展是指纪念馆不断适应社会需求变化，在资源保障、管理运行、业务发展等各方面均有质的提升，产生了明显的社会效益与广泛影响，成为当地居民的经常性到访地及外埠人士到来时的重要目标选择，可看作是纪念馆发展的最优状态和高级状态”。

建议将概念修改为“纪念馆高质量发展是指纪念馆不断适应新发展阶段社会需求变化，在政治导向、资源保障、管理运行、业务发展等各方面贯彻新发展理念，因地制宜的高品质特色发展，产生了深远广泛的社会效益与影响，可看作是纪念馆发展现代化阶段的方向”，并且专家认为“中国纪念馆高质量发展”各地情况不一，各馆重点不同，因地制宜是方向，符合自己的才是最好的。

一是在界定“纪念馆高质量发展”概念之前，需要阐明概念出处与来源；二是需要体现党的执政理念；三是“纪念馆高质量发展”需要在“党委领导下，不断适应社会需求变化”。

研究小组经讨论，并综合专家意见，将纪念馆高质量发展的概念表述为：纪念馆高质量发展指纪念馆不断适应新发展阶段的社会需求变化，在政治导向、资源保障、管理运行、业务发展等各方面贯彻新发展理念，实现了因馆制宜的高品质特色发展，成为当地的重要文化地标，产生了深远广泛的社会效益与影响，是纪念馆发展的最优状态和高级状态，也是现阶段纪念馆发展的方向。

在第三轮函询过程中，一共4位专家提出了7条修改意见，意见提出率为20%，现整理回复如下：

一是针对指标的修改意见。

有专家提出，在一级指标“管理与运行”下增加一个二级指标“M6标准化质量体系建设”，并认为重要性为“比较重要”。研究小组经查阅资料和讨论认为，专家的意见十分具有前瞻性和战略性，但考虑到标准化制度建设在“M23业务体系”中已有体现，且根据前期调查，纪念馆行业并未形成具有行业特色的行业标准，仅有少数大馆在做自身的标准化建设，评价指标的设置既要考虑到引导性，也要兼顾实际情况，因此此条建议暂不采纳。

有专家提出，应删除二级指标“P6公共服务”。第一轮函询该指标均值4.61，满分比60.87%，变异系数0.108，第二轮函询该指标均值4.7，满分比70%，变异系数0.1，从两轮专家函询数据来看，大部分专家对指标的认可度较高，因此，研究小组经综合考虑，保留该项指标。

有专家提出，二级指标“I41官方网站”应删除，建议放入“P5大众传播”指标中。研究小组经查阅文献资料和讨论认为，官方网站不仅是纪念馆的软件资源，而且在互联网中更多地承担了纪念馆信息门户、传播媒介的作用，因此，采纳专家意见，删除该指标，将相关内容放入二级指标“P51传播平台与团队”。

二是针对核心概念修改情况。

根据调研结果，20位专家中有13位专家同意第二轮函询表中的定义，有7位专家填写了对“纪念馆高质量发展”概念的修改意见，提出了特色化、与时俱进、文化地标与精神标识、因地制宜等内涵。研究小组经讨论，综合专家意见，将纪念馆高质量发展的概念表述为：

纪念馆高质量发展指纪念馆不断适应新发展阶段的社会需求变化，调动整合内外各方因素，在价值导向、资源保障、管理运行、业务发展等各方面贯彻新发展理念，实现了高品质特色发展，得到公众高度认可，产生了深远广泛的社会影响与效益，成为当地的重要文化地标和精神标识，是纪念馆发展的高级状态，也是现阶段纪念馆发展的方向。

（七）指标筛选与调整

本研究指标筛选严格按照专家意见，综合考虑专家意见集中程度（均值、满分比）、专家意见协调程度（变异系数、协调系数）等重要参数，采用综合指数法与界值法筛选指标。函询结束后采用综合指数法筛选二级指标，计算公式为“综合指数=算术均数×满分比/变异系数”，根据综合指数排序，剔除排序较后的指标，同时用界值法进行校正指标。 满分比和算术均数的界值计算方法为“界值=均数-标准差”，得分高于界值的入选；变异系数计算方法为“界值=均数+标准差”，得分低于界值的入选。指标筛选标准为综合指数位于降序排列的后20%，指标均值、满分值低于界值，变异系数高于界值。为防止重要的指标被剔除，在以上衡量标准中，只有综合指数、满分比界值、均值界值、变异系数界值都不符合入选要求的指标才考虑剔除。对于有一个或两个尺度不合要求的指标，根据全面性、科学性、可行性等原则经讨论后取舍。 同时，在指标筛选调整过程中，充分考虑专家提出的修改建议。两轮函询界值表如表3-8所示。

根据以上专家函询数据的均值、变异系数、满分比、综合指数的计算方法可筛选出第二轮函询中专家意见波动较大、一致性相对较低的各类指标，其中，二级指标“E3国际知名度”“O3行业资源运用”“I4信息资源”和三级指标“E31国际行业影响”“E32境外观众人数”“M21决策监督机制”“E12行业帮扶”符合指标删除标准。

研究小组经讨论以及查阅相关文献后认为：①　在我国纪念馆体系中，革命纪念馆占据绝大部分。受纪念主题、类型、范围和纪念馆规模限制，大部分纪念馆在国际影响力层面较为欠缺，仅有少数纪念馆有能力走出国门，为避免在评价时出现极端情况，故将二级指标“E3国际知名度”和两个三级指标一同删去。②　我国纪念馆以国有纪念馆为主，其决策监督机构的设立运行受到当前事业单位行政体制限制，纪念馆对自身决策监督机制调整的自主性较小。因此，“M21决策监督机制”作为评价指标区分度较小，予以删除。③　我国纪念馆存在着发展不平衡、不充分的问题，大部分纪念馆规模、体量较小。若想促进我国纪念馆整体高质量发展，纪念馆行业的帮扶机制是有效途径之一，故对“E12行业帮扶”指标暂时保留，并根据第三轮函询做进一步处理。④　“O3行业资源运用”考察的是纪念馆对外部行业资源的利用，目前我国纪念馆发展不均衡、不充分，部分纪念馆单靠自身力量难以实现高质量发展，而从纪念馆行业共同体中吸取相关资源则显得尤为重要，因此暂时保留该指标，并根据第三轮函询做进一步处理。⑤　“I4信息资源”考察的是纪念馆的信息化、智慧化建设，以及所拥有的图书文献资料，同时信息资源也是纪念馆资源的重要组成部分，因此暂时保留该指标，并根据第三轮函询做进一步处理。⑥　对于其他待调整指标，排除极值之后，从全面性、科学性等方面考虑，暂时保留，并根据第三轮函询做进一步处理。

综合第二轮专家意见以及相关数据分析，研究小组对指标体系作出调整如下：①　删除1个二级指标“E3国际知名度”和3个三级指标“E31国际行业影响”“E32境外观众人数”“M21决策监督机制”；②　新增3个三级指标“M13使命认同”“P53品牌标志”“P64开放参观”；③　合并原“M2治理结构”“M4规章制度”，形成“M2组织机构与制度建设”；④　调整11处指标表述。

注：“√”表示相应指标的均值、满分比、综合指数位于总体数据降序排列的后20%，变异系数位于总体数据降序排列的前20%，“●”表示相应指标均值、满分比小于界值，变异系数大于界值。

在第三轮函询中专家意见波动较大，且评分较低，符合删除标准的指标有二级指标“O2社会资源运用”，以及三级指标“M43人才称号”“M53第三方评估”“E12行业帮扶”“E21参观人数”。综合两轮专家意见，研究小组经讨论以及查阅相关文献后认为：①　社会资源和行业资源分别是纪念馆外部资源运用的重要方面，且对应两个二级指标（“O2社会资源运用”“O3行业资源运用”）是否删除，两轮专家意见函询并不一致，因此从指标的科学性以及纪念馆高质量发展内涵上考虑，予以保留。②　三级指标“E12行业帮扶”在两轮专家函询中，各项评分均达到删除标准，因此予以删除。③　“M53第三方评估”在第一轮专家函询中，综合指数较低，且得分低于均值和满分比的界值，属于待调整的指标，而在第二轮函询中，专家对该指标认同度依旧较低。因此综合考虑，删除该指标。④　“M43人才称号”“E21参观人数”在第一轮函询待调整指标中，专家认可度相对较高，在第二轮中认可度相对变低。但考虑到，本指标体系涉及形式、内容、效用评价三个维度，而这两个指标便是效用评价的具体体现，因此予以保留。

综合第三轮专家意见以及相关数据分析，对指标体系调整如下：①　删除2个二级指标“M53第三方评估”“E12行业帮扶”；②　删除“I41官方网站”，相关内容放入“P51传播平台与团队”；③　调整9处指标表述。

从第三轮专家意见来看，一、二、三级指标满分比在40%以上的均超过60%，且专家意见集中程度、协调程度均有所提高，专家对指标的设置具有较好的一致性。因此，关于指标体系，不再进行下一轮函询。

三、确定指标权重

第四轮专家函询主要为确定指标权重。本研究在建立指标体系的过程中采用了德尔菲法，对指标进行了重要程度判断。但考虑到经过几轮函询，专家对指标较为熟悉，为增加各级指标的区分度，使指标权重更符合评价实际，本研究选择层次分析法来确定指标权重，从参与函询的专家中选择8位专家，向他们发放权重判断问卷，请专家对各级指标的权重进行两两比较判断。在权重计算过程中，本研究主要依靠yaahp 12软件。这是一款层次分析法辅助软件，为使用层次分析法的决策过程提供模型构造、计算和分析等方面的帮助。

首先，构造递阶层次结构与判断矩阵。利用层次分析法，需要先构建一个层次分析结构模型，一个好的层次分析结构对于提高分析的效度和信度十分重要。一般而言，深入分析实际问题，将有关影响因素自上而下分解为目标层、准则层和方案层，同一层次的元素作为准则对下一层次起支配作用，同时它又受上一层次元素的支配。根据调整后的中国革命纪念馆高质量发展评价指标体系，利用yaahp 12可以构建本研究的递阶层次结构，如图3-1所示。

根据图3-1，对中国革命纪念馆高质量发展评价指标体系的各级指标共构建两两判断矩阵26个。为了使决策判断量化，形成可供计算分析的数值判断矩阵，课题组根据一定比例标度将判断量化，采用1~9标度方法，具体如表3-10所示。

其次，进行矩阵一致性检验。判断矩阵一致性是指专家在对指标重要性进行两两判断时，各判断之间协调一致，没有出现相互矛盾的情况。但是在实际判断过程中，特别是多阶判断的状况下，由于专家的判断往往根据主观经验，判断矩阵往往出现不一致的情况。判断矩阵的一致性用CR表示，CR越小，表示判断矩阵一致性越高。一般来说，当CR<0.1时，认为判断矩阵具有满意的一致性，否则需要调整判断矩阵，使之具有满意的一致性。

本研究利用yaahp 12计算各专家的判断矩阵一致性，8位专家对一级指标的判断一致性在0.0277~0.0992之间，表示指标一致性较高。在二、三级指标中，有部分专家判断矩阵一致性超过0.1，说明存在判断矛盾的情况，需要对判断矩阵进行调整。但直接对问卷中的数据进行调整、修改专家的原始判断很可能是不合理且盲目的。针对这种情况，yaahp 12提供了不一致判断矩阵自动修正功能，在最大程度保留专家决策数据前提下修正判断矩阵，使之满足一致性要求，整个修正过程自动完成。调整后二级指标的判断矩阵一致性在0~0.0996之间，三级指标的判断矩阵一致性在0~0.0999之间。

最后，确定各级指标权重系数。根据yaaph 12软件分析，一级指标“外部资源运用（O）”“内部资源支撑（I）”“管理与运行（M）”“业务发展（P）”“效益与影响（E）”的权重系数分别为0.0924、0.1751、0.2582、0.383、0.0913。

二级指标权重系数如表3-11所示，组合权重占排序前三位的分别是“P1藏品建设”（0.0816）、“P4社会教育”（0.071）、“I1人才队伍”（0.0694）；排序后三位分别是“O2社会资源运用”（0.0246）、“O3行业资源运用”（0.0244）、“I4信息资源”（0.0158）。

三级指标权重系数如表3-12所示，组合权重占排序前五位的分别是“I32经费保障力度”（0.0349）、“P21基本陈列”（0.031）、“O12经费资源运用”（0.0292）、“I11中高层管理人员”（0.0284）、“E12行业荣誉”（0.0277）；排序后五位的分别是“O23外部专家”（0.0079）、“I42文献数据资源”（0.0066）、“P63文创产品”（0.006）、“O22志愿者”（0.0051）、“O24社会捐赠”（0.0035）。

从各级指标权重数据看，一级指标权重最高的分别是“业务发展（P）”和“管理与运行（M）”，两者占据60%以上；二级指标中权重较高的主要是纪念馆的四项传统业务和人才队伍；三级指标中权重较高的则涉及经费、人才、展览、荣誉等多方面。