下载掌阅APP，畅读海量书库
立即打开
研究项目遵循综合评价的基本流程，主要分为确定评价目标、建立评价指标体系、选择评价的方法与模型、综合评价的具体实施（即对评价指标体系的实证过程）、对评价结果进行评估与检验以及评价结果分析与报告。在具体的评价方法选用上，则采用同行评价与定量评价相结合的方式，并依靠肯德尔相关系数来比较两种评价结果排名之间的相对位置进行数据互证，保证评价结果的准确性来佐证评价指标体系的可靠性。
综合评价的核心思维在于对定性、定量信息之间的辩证认知的过程，是采用定性的方法明确评价的目的，再根据评价的目的构建评价指标体系，并针对指标数据进行定量分析，最后得到结果的定性研判，以便统计者结合背景与结论，为有关决策与管理活动建言献策，提出参考性的建议。
图2-5 研究项目流程图
基于综合评价的相关理论，我们还应注意到对评价结果进行评估与检验也是综合评价流程中的重要一环，缺失对于评价结果的多元互证很可能导致评价结果不能令人信服。针对中国纪念馆工作共分为三个环节，分别是评价对象的确定、评价指标的数据采集以及评估环节。
备选池为“中国革命纪念馆标杆榜”项目的具体评价对象，原则上以正式在文物部门登记备案的纪念馆、陈列馆为主，因此备选池名单及场馆名称以国家文物局公布的《2020年全国博物馆名录》
为基础进行筛选，同时考虑到中国共产党历史展览馆在行业发展上的重要地位，故将展览馆单独重点介绍。而基于《2020年全国博物馆名录》所开展的备选池筛选过程，则主要基于以下四个标准。
一是全部被评为一级博物馆、二级博物馆的革命纪念馆，满足该标准的革命纪念馆共118家。该标准的选取是以革命纪念馆行业高质量发展的内涵支撑为指导，以现有较为成熟的博物馆定级评估结果为参考，可以最大程度地代表此类备选池场馆的综合实力。
二是习近平总书记2012年至2020年参观过的纪念馆、革命旧址，满足该标准的革命纪念馆共36家，包括未登记备案的“半条被子的温暖”专题陈列馆、薛家寨革命旧址等。除了现有博物馆评价指标体系中的等级博物馆，对于具有重大历史价值和纪念意义的场馆，同样需要囊括到备选池场馆名单中，通过标杆榜分项榜单的数据分析来挖掘其在某一业务能力方面的突出业绩与工作经验。
三是2019年度参观人数在100万以上的三级博物馆，满足该标准的革命纪念馆共14家。参观人数是纪念馆影响力最直接的体现，考虑到2020年疫情防控工作的影响，故选取2019年参观人数在100万以上的三级纪念馆作为备选池场馆的补充。该标准充分反映参观群众对于某一场馆公共服务能力的肯定。
四是近5年（2016—2020年）获得全国博物馆十大陈列展览精品特别奖、精品奖、优胜奖以及“全国最具创新力博物馆”称号的纪念馆，满足该标准的革命纪念馆共15家。陈列展览作为传统纪念馆对外宣传的主阵地，是场馆学术研究、讲解服务等能力的综合体现，一定程度上代表该馆在业务方面的最高水准，是继参观人数之后对于备选池遴选标准的又一重要补充。而“全国最具创新力博物馆”则是从场馆入选门槛方面，对于各馆具有的个性化、特色化的业务内容、机制创新等成效予以肯定并一同纳入备选池进行筛选。
基于以上四个标准并删除重复场馆后，课题组初步筛选出151家革命纪念馆，即“中国革命纪念馆标杆榜”备选池名单。备选池名单详见附录九。
课题组根据中国革命纪念馆高质量发展评价指标体系制作同行评价表和数据采集表。评价最终所需数据也将分别来源于同行评价表与数据采集表，同时考虑到以往在撰写纪念馆行业发展报告时，即便有行业协会的背书，数据采集工作依旧困难重重，因此除了打算采用同行评价与定量评价加权计算的方式，课题组还准备了以同行评价结果为主，以定量评价为辅且与同行评价结果进行互证的备选方案。
在专家同行评价环节，课题组根据151家备选池名单，从全国博物馆年度报告信息系统中搜集整理补充出《中国革命纪念馆标杆榜备选池简介汇编》作为参考资料，与《中国革命纪念馆高质量发展评价指标》《中国革命纪念馆高质量发展同行评价表》一同于2021年8月初发放给纪念馆相关学者、一线工作人员、行业协会专家共计50余位进行评价。最终根据收到的专家反馈结果，在去除无效项后按照均值得出151家场馆7个评估指标的结果。专家同行评价参考以下7个点，分别是：
“管理工作”考察内容主要包括纪念馆对政府、社会以及行业等外部资源的运用情况；纪念馆人才队伍、基础设施、经费保障以及信息资源的建设情况；纪念馆党建工作与组织文化、组织架构与制度建设、规划与计划、组织人事、协调控制等方面的情况；
“藏品建设”主要对纪念馆藏品价值与规模、藏品征集工作开展情况、藏品保护与管理工作情况、藏品数字化情况等进行考察；
“陈列展览”主要对纪念馆基本陈列水平、临时展览开展情况、网络展厅与云展览情况、讲解服务情况等进行考察；
“学术研究”主要对纪念馆学术机构建设情况、研究成果情况、学术活动与刊物创办情况等进行考察；
“社会教育”主要对纪念馆教育活动开展情况、共建共享情况等进行考察；
“大众传播与公共服务”主要对纪念馆品牌标志、宣传平台及团队建设情况、传播内容形式创新情况、为社会提供藏品与科研服务情况、文创产品开发情况、举办活动或仪式庆典等提供空间场所情况进行考察；
“效益与影响”主要从行业影响力、所获荣誉奖项、参观人数、网络关注度、媒体显示度等多个方面对纪念馆进行考察。
为保证评估结果的客观公正性，课题组采用数据互证的方式综合运用同行评价、定量评价的数据，除了使用不同权重加权的方式保证结果的合理性，当发放给场馆的数据采集表回收不够充分时，则以收集到的专家同行评价表所得的结果为主，确定中国革命纪念馆标杆榜同行评价综合榜单。另按照各馆公开数据简化评估指标体系，得出中国革命纪念馆标杆榜定量评价辅助榜单，以定量榜单与同行评价榜单对应场馆排名的相对位置，检验同行评价结果的准确性、客观性。
目前大部分的“指数研究”的主要逻辑是通过量化和数据分析来反映相关问题或现象的变化程度和发展特点，存在一定的不可重复性和时效性，从根本上看仍然是行业公开数据的缺失、失真等产生的连带影响，行业缺乏健全完善的统计报表体系。以《博物馆信息公开指引（试行）》中规定的公开信息范围为例，博物馆纪念馆应经常性公开学术资源、教育资源等信息；定期公开季度报告、年度报告，报告内容应包括观众反馈信息、活动信息等内容。但实际上博物馆纪念馆的信息公开工作并不乐观。为此，课题组引入以数据互证为基础的多元互证体系，将不同来源的数据与不同的评估方法按照一定原则进行组合，以检验中国革命纪念馆标杆榜综合榜单的可靠性。
该研究主要采用综合评价的方式开展对于评价对象的评价工作，通过多种评价方式、不同的数据来源以及多个维度的评价指标来尽可能地提高评价的准确性、科学性。其中，在实施综合评价的过程中主要采用了同行评价、定量评价两种方式，数据除了来源于国家文物局博物馆年度信息报告系统，还有各馆提供的数据采集表以及其他官方公开数据。
综合评价是相对于单项评价而言的，主要区别不在于评价客体的数量多寡，而在于评价标准的复杂性。综合评价是指对评价对象进行某种层面或某种角度的评估，是在考虑评价目的的基础上，通过测定或衡量评价对象的某个或某些属性，来综合评估其在某一时间点或某一时间段内的性能、业绩、功能或效能等。
通常综合评价需要包括以下6个环节：
① 确定评价目标；② 建立评价指标体系。具体包括评价目标的细分与结构化，指标体系的初步确定，指标体系的整体检验与单体检验，指标体系结构的优化，定性变量的数量化等环节；③ 选择评价的方法与模型，具体包括评价方法选择，权数构造，评价指标体系的标准值与评价规则的确定；④ 综合评价实施，具体包括指标体系数据搜集，数据评估，必要的数据推算，评价模型参数求解等；⑤ 对评价结果进行评估与检验，以判别所选评价模型的有关标准、有关权值甚至指标体系的合理与否，若不符合要求，则需要进行一些修改，甚至返回到前述的某一环节；⑥ 评价结果分析与报告，具体包括评价结果的书面分析，撰写评价报告，提供与发布评价结果，资料的储备与后续开发利用。
多元互证方法来源于人种学、社会科学、教育学等领域，又称“三角互证”，它不等同于不同方法和视角的简单叠加，而是更强调一种“融合”理念，如不同语料库所获数据的融合、不同方法的融合。这里采用多元互证的方法也正是基于综合评价理论对于评价结果的检验所需。不同方法的融合并不意味着各自失去本身的特点，为的是解决同一个研究问题，这与现有很多研究存在差异：虽然使用了不同的方法，但每个方法解决的并非是同一个研究问题，不同结论可能存在冲突和不一致的现象。
数据互证属于多元互证方法中的一种类型，其他三种分别是研究者互证、理论互证与方法互证。数据互证是指使用不同的方法对于不同来源的数据进行交叉验证。通常适用于将同一种方法实现理论价值的最大化场景或者用于随机选取的个体、关系多样化的个体、不同群体的个体。中国革命纪念馆标杆榜综合榜单即采用数据互证的方式，从同行评价与定量评价两种方式，根据不同的数据来源获取到的数据进行相互验证。
研究者互证是指采用不同观察者和访谈者共同参与的方法，最大程度地将研究者内部的偏见最小化。理论互证则是收集和分析数据时使用多种理论视角。在理论一致性较低的领域，推荐使用理论互证。方法互证强调方法内三角互证与方法间三角互证，通常适用于同一问卷中的不同问项测同一变量。中国革命纪念馆标杆榜项目主要采用数据互证的方式，立足同行评价得出标杆榜综合榜单，引入以各纪念馆公开数据源为基础的定量评价佐证同行评价的结果。
肯德尔相关系数是一个用来测量两个随机变量相关性的统计值，通常用τ表示。与第三章提及的肯德尔协调系数不同，肯德尔相关系数侧重于相关性的检验，常用于不同评价方法得出排名之间的相似度检验。肯德尔相关系数的取值范围在-1到1之间，当τ为1时，表示两个随机变量拥有一致的等级相关性；当τ为-1时，表示两个随机变量拥有完全相反的等级相关性；当τ为0时，表示两个随机变量是相互独立的。本书所采用的肯德尔相关系数主要用来检验标杆榜同行评价榜单与定量评价综合榜单之间的相关性，即同行评价的结果是否与依据客观数据的定量评价结果保持了一致性。