中国革命纪念馆高质量发展评价指标体系是以纪念馆行业高质量发展为内涵支撑,因此需要将纪念馆行业放到整个经济文化生活的大环境中构建相应的评价模型。在方法选择方面,课题组积极运用德尔菲法与层次分析法等综合评价体系常规方法,力求做到体系构建与研究的准确性、科学性。
评价指标体系采用了文献与网络调研法、问卷法、层次分析法、德尔菲法、焦点小组访谈法等方法来完善具体指标,并进行权重设置。
第一,文献与网络调研法。利用文献调研法、网络调研法搜集国内各省市地区已经出台的博物馆、纪念馆、爱国主义教育基地的具体考评指标体系,以及各馆自评相关文件。同时,调研国外相关研究与实践。现代博物馆起源于西方,国外相关研究与实践可作为有益的参考,因此需要查找国外对博物馆、纪念馆等公共文化服务场所的考评指标,了解国际态势。
第二,层次分析法。利用层次分析法(简称“AHP法”),根据高质量发展的内涵,结合纪念馆工作实际,课题组将评价体系分解为多指标的若干层次,并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合,形成一个多层次的分析结构模型,从而拟定指标体系的初步框架,再根据专家意见,做进一步分析。
第三,问卷法。课题组利用问卷法,通过由一系列与指标体系相关的问题构成的问卷调查表,收集专家对于纪念馆指标体系的观点。
第四,德尔菲法。专家的意见对于纪念馆指标体系建设至关重要。在项目研究过程中,课题组选择纪念馆相关学者、纪念馆一线工作人员、纪念馆主管部门领导、纪念馆行业协会专家等组成专家池,并征询专家意见,之后进行整理、归纳、统计,匿名反馈给各专家,再次征求意见,再集中,再反馈,直至得到一致的意见。
问卷调查分为两个步骤,分别是函询专家的选择与问卷设计、发放与回收。
专家的选择是德尔菲法实施的前提与关键,专家质量决定着研究的科学性、可靠程度和权威程度。为了保障此次研究的权威性和结果的可信度,根据德尔菲法的要求和本研究的目的,确定专家入选条件如下:
1. 纪念馆领域从业者、研究者、文物行政管理部门人员;
2. 具有中级及以上职称或为纪念馆中高层管理人员;
3. 熟悉纪念馆基本业务流程、相关实践与理论进展等的人员;
4. 对本课题研究具有较大兴趣,有较为充裕时间参加多轮问卷调查的人员。
本次调查选取了30名专家,一共开展了4轮专家调研,并设计了4份调查问卷,分别为第一轮发放“中国革命纪念馆高质量发展影响因素与评价维度函询表”,第二、三轮发放“中国革命纪念馆高质量发展评价指标体系函询表”,第四轮发放“中国革命纪念馆高质量发展评价指标体系权重判断函询表”。
第一轮问卷主要分为两个部分,第一部分是基础信息部分,主要收集填写对象的基础信息,包括性别、年龄、学历、职称、学科背景等;第二部分是关于纪念馆高质量发展评价维度以及相关影响因素的调查,一共21道题,123个题项。
第二、三轮函询表主要根据指标体系初步框架来设计,包括三部分,第一部分是专家基础信息,主要收集参与函询专家的基本信息,共13道题,包括专家个人信息、学科背景、所在省市、工作岗位、职务职称职级和工作年限等。第二部分为各级指标体系函询表,主要收集各位专家对各级指标体系和“纪念馆高质量发展”概念的看法等,分为一级指标函询表、二级指标函询表、三级指标函询表和中国革命纪念馆高质量发展评价核心概念函询表,共4张表格。每张表格主要有指标重要程度判断与修改、删除、新增栏目,其中指标重要程度采用Likert评分法,划分为“5分=非常重要”“4分=比较重要”“3分=一般重要”“2分=不太重要”“1分=不重要”。第三部分为专家熟悉程度和判断依据评分表,主要测评各位专家对指标条目的熟悉程度,了解其对各指标条目判断的依据。
第四轮问卷根据指标体系框架确定,对中国革命纪念馆高质量发展评价指标体系的各级指标共构建两两判断矩阵26个,采用1~9标度方法,请专家做两两判断。
后续根据评价指标体系实证工作方案的推进,对标杆榜同行评价过程中的7个维度以及分项榜单中同行评价得分、定量评价得分部分的内容补充开展“中国革命纪念馆高质量发展评价体系实证权重判断”的函询问卷,同样采用1~9标度方法,请专家做两两判断。
本次调研通过邮件、微信等方式向30位专家发放问卷,开展函询,专家彼此之间不发生联系。每轮函询开展时间为7~10天。在发放问卷时,面向专家使用统一的指导语,详细说明调查的目的、方法以及函询表填写注意事项,保证问卷调查顺利进行。在函询过程中,每位专家都有专门的研究小组成员对接,研究小组成员负责每轮问卷的发放与回收,并及时解答专家在填写函询表时的疑惑。