二、网络数据库评价指标体系的确定

首先确定初步的评价指标体系和专家名单，然后采用特尔菲法，根据专家评分来确定各项指标及其相对重要性，运用层次分析法构建判断矩阵，计算各项指标权重，对结果进行一致性检验，保证指标权重的科学性和准确性。

（一）初定网络数据库评价指标

在对大量中外文献调研的基础上，参考了现有的网络数据库评价指标体系，经过课题组成员的反复讨论和修订，初步确定本次研究的网络数据库评价指标体系。这个指标体系包含收录范围、检索功能、服务功能共3个一级指标和11个二级指标。收录范围包括的二级指标有：年度跨度、更新频率、来源文献数量，是评价网络数据库内容的最基本的指标。检索功能是使用网络数据库的核心，设有二级指标：检索方式、检索入口、检索效率、检索界面以及检索结果处理。服务功能包括除检索功能以外，能提供给用户的其他功能，含二级指标为：资源整合、个性化服务、咨询服务。初步的网络数据库评价指标体系见表4-1。

初步网络数据库评价指标的形成，充分考虑了网络数据库这种独特网络信息资源自身的特点，涉及网络数据库建设和利用的各个方面。以此作为网上特尔菲法第一轮问卷调查表的主体，可以引导专家顺利完成问卷调查，避免了专家无从下手，汇总后指标过于杂乱，不易归纳的缺点，并有效降低了专家填表难度。

（二）确定专家调查名单

1. 专家人数的确定：特尔菲法选择专家的人数一般的要求是10-20人，但涉及重大问题可以扩大，既可以起到集思广益的作用，又比较利于组织。本次研究因为涉及评价类型较多，因此共选择了31位专家进行调查，其中28位做了有效应答，符合特尔菲的人数要求。

2. 专家自身素质及知识结构要求：特尔菲法中的专家是指对完成所要调查的问题具有充分知识和经验的人，应具有一定的学术影响，同时具有应答的时间和责任感。特尔菲法是一种集体咨询，所以选择的专家应具有一定的代表性。在知识结构上，不仅要选择技术专家，而且应该选择管理专家；不仅选择研究人员，还要有实际工作者。所以，本次研究按照本领域专家、相关领域专家、管理专家各占一定比例，具有副教授以上职称，并在核心期刊上发表过相关文章，兼顾考虑了专家所在机构进行筛选，最后确定出专家名单。具体参与本次调查的专家名单见表4-2，专家所在机构类型及人数分布见表4-3，专家性质及人数分布见表4-4：

（三）采用特尔菲法确定网络数据库各级指标

1. 调查表的设计

第一轮调查表（见附录1）：以初步确定的网络数据库指标体系为主体内容，包括：课题调查表说明、各级指标名称及说明、相对重要性评分部分，以及预留给专家提建议及情况说明的页面。指标相对重要性评分，采用5分制，分数从高到低表示重要性依次递减（5-非常重要，4-比较重要，3-一般重要，2-比较不重要，1-不重要）

第二轮调查表（见附录2）：以第一轮调查表内容格式为基础，汇总第一轮调查评分情况及专家建议，研究分析后对评价指标体系进行了修订，增设2个一级指标（收费情况、网络安全）。另外在一级指标“收录范围”下增设3个二级指标（来源文献质量、来源文献的全面性、特色收藏）；一级指标“服务功能”下删去1个二级指标（咨询服务），增设5个二级指标（交互功能、全文提供服务、链接功能、离线配套服务、检索结果分析）。对第一轮调查的专家评分情况进行统计，计算出选评某分值的专家人数所占百分比，直接反馈到第二轮调查表中，供专家在第二轮调查评分过程中做参考。修订内容在网页上采用红色标记出来，提醒专家关注。

第三轮调查表（见附录3）：以第二轮调查表为基础，汇总第二轮调查评分情况及专家建议，经研究分析后对评价指标体系做了进一步修订。一级指标“收费情况”下增设2个二级指标（收费方式、价格高低）；一级指标“网络安全”下增设2个二级指标（系统安全、用户信息安全）。统计第二轮调查中专家评分情况，并反馈到第三轮调查表里，供专家在第三轮评分时参考。修订内容同样在网页上采用了红色标记。

2. 问卷调查结果

本次特尔菲法专家调查共分三轮进行。在第三轮调查结束后，将回收的调查表进行汇总整理，统计分析与预测，并寻求收敛程度较高的专家意见。这三轮是一个螺旋上升的过程，每循环和反馈一次，专家都吸收了新的信息，并对预测问题有了更深刻，更全面的认识，预测结果的精确性也逐轮提高。第一轮调查问卷回收后，统计和分析众多专家的打分结果及建议，并且据此对第二轮调查问卷进行了修订，包括增设2个一级指标和若干二级指标的增加；第二轮调查问卷回收后，按照类似的步骤进行处理，在第三轮调查问卷中增设了4个二级指标。经过上述三轮调查后，专家的意见趋于稳定。第三轮网络数据库评价指标体系调查结果（见附录4）

根据第三轮的调查结果，可以确定网络数据库评价的各级指标，包括5个一级指标和22个二级指标（见表4-5）

3. 调查结果的可信度

运用特尔菲专家调查法得出结论的可信程度，可以通过专家参与程度来表征。专家参与程度可以用参与的专家人数、应答率和积极系数三个指标来说明：

（1）专家人数：根据特尔菲法的大量实践经验，参加的专家人数接近或者大于15人时，专家人数的变化对预测精度影响不大。所以在用特尔菲法作预测时，一般以15人作为考虑的转折点。本次专家调查人数为31人，有效调查28人，大于15人，满足对预测精度的要求。因此从专家人数这一方面来看，本次特尔菲法调查具有较高可信度。

（2）应答率：调查问卷发出后，往往只能回收一部分，因此有必要引入“应答率”来衡量调查的科学性，应答率过低的预测结果不可靠。应答率的计算公式，见式4.1。

本次专家调查的问卷总份数为31，有效回收份数为28。由式4.1可得：

应答率＝28 ÷ 31 × 100％＝90.32％

从应答率指标来衡量，本次调查的预测结果可信度是较高的。

（3）积极系数：设 M _j 是对第 j 个方案应答的专家人数， M 是全部专家的人数，则有积极系数为 M _j /M 。本次调查中，31位专家中的28位专家对所有的问题都做了应答，因此积极系数与应答率相同，也为90.32％。

综上所述，通过对专家人数、应答率和积极系数多项可靠性指标的计算，可以看出本次调查的结果具有较高的可信度，从而保证通过调查确定的网络数据库评价指标体系具有较高的可靠性和科学性。

（四）运用层次分析法计算各级指标权重

1. 计算满分频度

满分频度是指对某指标给满分的专家数与对该指标做出评价的专家总数之比。计算公式见式4.2

其中 为 j 指标的满分频率， 为对 j 指标给满分的专家数； 为参加 j 指标评价的专家数。我们采用每项指标的满分频率 来表征其相对重要程度， 的值为0～1，其值越大，表明对 j 指标给满分的专家人数相对越多，即该指标相对重要性越大。

根据第三轮网络数据库评价指标体系调查结果（见附录4），可得到网络数据库各级指标的满分频度，见表4-6

2. 建立判断矩阵

首先，将同层指标的满分频度进行两两比较，得到判断矩阵。本文采用的是“等差分级，等比赋值”的指数标度系统来确定判断矩阵。指数标度系统的计算公式见式4.3所示。

在指数标度法应用中，将1-9标度转化为指数标度固然可行，但仍然涉及要给分，还是存在主观成分，为了在权重确定上完全使用客观数值， n 值的得出，也采用了一种“绝对标度法”来计算，即：

对于各一级指标或同级指标下任意两个指标 i 和 j ，若指标 i 的满分频度为 x ，指标 j 的满分频度为 y ，则指标 i 相对于指标 j 的优劣程度为：

下面以“检索功能/服务功能”这两个一级指标的相对重要性计算为例，具体说明判断矩阵的确定过程：

（1）满分频度总量定为100，分为8个等分，每一个等分为100/8＝12.5，即以12.5作为绝对比较标度，且有 a ＝1.316，则指标 i 相对于指标 j 的相对重要程度为：

（2）然后根据表4-6可知：检索功能的满分频度为96.43％，服务功能的满分频度为89.29％，代入式4.5可得：

上述过程，可用JAVA编写的“程序一”来执行计算，程序代码详见附录5。

根据表4-6中5个一级指标的满分频度，执行“程序一”，可分别得到两两比较的相对重要程度，由此构建一级指标的判断矩阵如下表4-7：

注：B1，B2，B3，B4，B5分别为收录范围、检索功能、服务功能、收费情况、网络安全五个一级指标。

同样，根据表4-6中各一级指标层内二级指标的满分频度，运行“程序一”，可得到各自对应的判断矩阵，如下表4-8～表4-12：

注：C11～C16分别为年度跨度、更新频率、来源文献数量、来源文献质量、来源文献的全面性、特色收藏

注：C21～C25分别为检索方式、检索入口、结果处理、检索效率、检索界面

注：C31～C37分别为资源整合、个性化服务、交互功能、全文提供服务、链接功能、离线配套服务、检索结果分析

注：C41为收费方式，C42为价格高低

注：C51为系统安全，C52为用户信息安全

3. 计算权重和一致性校验

判断矩阵得到后，即可对判断矩阵的最大特征根对应的特征向量进行计算，对应的特征向量即用层次分析法计算的指标权重。在计算判断矩阵最大特征根时，本文采用了方根法。

（1）第一步，计算判断矩阵每一行元素的乘积 W _i ，

（2）第二步，计算 的 n 次方根 。

（3）第三步，对向量 作归一化或正规化处理，即

则， A ＝（ a ₁ ， a ₂ ，…， a _m ） ^T 即为所求特征向量，即指标的权重向量。

（4）第四步，计算判断矩阵的最大特征根 λ _max

式中， TA _i 表示向量 TA 的第 i 个元素。

（5）第五步，一致性检验

由于客观事物的复杂性或对事物认识的片面性，通过所构造的判断矩阵求出的特征向量（权值）是否合理，需要对判断矩阵进行一致性和随机性检验，检验公式为：

CR＝CI/RI

其中， λ _max 为最大特征根； m 为判断矩阵阶数； RI 为判断矩阵的平均随机一致性指标（参见表4-13平均随机一致性指标值对照表）。

当 CR ＜0.1时，即认为判断矩阵具有满意的一致性，说明权数分配是合理的；否则，就需要调整判断矩阵，直到取得满意的一致性为止。

式中， CR 为判断矩阵的随机一致性比率； CI 为判断矩阵一致性指标；它由下式计算：

以一级指标为例，说明权重的计算过程如下：

（1）第一步，计算判断矩阵（见表4-7）每一行元素的乘积 W _i ，可得：

W ₁ ＝24.9465938

W ₂ ＝24.9465938

W ₃ ＝11.38718554

W ₄ ＝0.002032194

W ₅ ＝0.069437789

（2）第二步，依据式4.6计算 的 n 次方根 ，此处 n ＝5：

（3）第三步，依据式4.7对向量 归一化，即：

则 W ＝（ W ₁ ， W ₂ ，. . .， W _n ） ^T 即为所求的特征向量。

至此，得出一级指标的权重，见表4-14。

（4）第四步，根据式4.8计算判断矩阵的最大特征根

式中，（ AW ） _i 表示向量（ AW ）的第 i 个分量。

通过计算得出网络数据库一级评价指标的最大特征根 λ _max ＝5， CR ＝0，具有很好的一致性。通过计算一致性比率可以得出结论：上文建立的判断矩阵具有满意的一致性，因此得出的权重是合理和科学的。

上述计算过程，本文也专门编写了“程序二”来执行处理（程序代码详见附录6）。在对二级指标的判断矩阵、权重、最大特征根及一致性检验计算过程中可以直接使用。

根据前一节建立的判断矩阵（表4-8～表4-12），运行“程序二”可得相应的各层内二级指标权重、最大特征根和随机一致性比率，如下表4-15～表4-19：

最大特征根：l＝5.9999995；随机一致性比率：CR＝-7.690922E-8

最大特征根：l＝5.0；随机一致性比率：CR＝0.0

最大特征根：l＝7.0；随机一致性比率：CR＝0.0

最大特征根：l＝2.0；随机一致性比率：CR＝0.0

最大特征根：l＝2.0；随机一致性比率：CR＝0.0

由于采用计算机程序计算，计算过程中存在多次有效数字保留操作，部分CR值出现了负数，但显然都趋近于0值，即判断矩阵全部具有满意的一致性，因此，由此计算得出的权重是合理、科学的。

（五）构建网络数据库指标体系

根据前面得出的各级指标权重（表4.14～表4.19），可以计算出每个二级指标在整个评价指标体系中所占的组合权重G _ij ，计算公式如下：

其中W _i 为一级指标B _i 的权重，W _ij 为二级指标C _ij 在层内所占的权重，则由式4.7可得G _ij 为一级指标B _i 下的二级指标C _ij 的组合权重。

以一级指标“检索功能”下的二级指标“检索效率”为例，由式4.9计算：

同样，可由式4.9计算出所有二级指标的组合权重（保留小数点后4位有效数字），从而构建出完整的网络数据库指标体系，见表4-20

注：共计22个组合权重，在总排序中排名为第1，4，6，8，19的各有两个二级指标。 sm4dM7CEg1DJF68ss/Jfw9rj8FplvjoZcoVbdurKleW3QuDlTINqeZ++BIakH4Pu