下载掌阅APP，畅读海量书库
立即打开
评估指标体系的制定是一项很困难的工作。一般说来，指标范围越宽，指标数量越多，则方案之间的差异越明显，越有利于判断和评估。同时，确定指标的内容和指标的重要程度也越困难，处理和建模过程也越复杂，因而歪曲方案本质的可能性也越大。评估指标体系要全面地反映出所要评估的系统的各项目标要求，尽可能做到科学、合理，且符合实际情况，并基本上能为有关人员和部门所接受。为此，制定评估指标体系需要在全面分析系统的基础上，首先拟订招标草案，经过广泛征求专家和有关部门的意见，反复交换信息，统计处理和综合归纳等，最后确定评估指标体系。
指标体系构建的总体思路遵循“具体— 抽象— 具体” 的过程，其构建是一个反复深入的过程。其构建过程大致如图3.1 所示。
其中，指标体系初建主要包括如下步骤：
（1）目标分析。目标分析是建立评估指标的前提，确定系统的目标层次结构是建立评估指标体系层次结构的基础。所谓目标，就是评估系统所要达到的目的，是要求评估系统达到的期望状态。对作战系统的要求和期望是多方面的，这些要求和期望反映在作战的目标上。
（2）系统分析。系统分析就是采用系统的观点和方法，对作战仿真结果进行分析，弄清影响作战的因素，澄清各因素之间的关系。
（3）特征属性分析。特征属性分析就是对各组成要素的特点进行分析，建立与之相适应的指标，弄清各指标的本质属性，为建立数学模型、获取评估数据奠定基础。指标属性是指每个指标是定性的还是定量的，是静态的还是动态的。定性指标是指不可用数量描述的指标； 定量指标是指可以通过分析、计算得到具体数量描述的指标； 静态指标是指不随时间、环境条件等因素变化而变化的指标； 动态指标是指随时间、场合等条件变化而变化的指标。
图3.1 指标体系构建流程
（4）结构分析。不同的目标结构会带来不同的评估指标体系的结构形式，常见的评估指标体系的结构形式有两种。一种是层次型评估指标体系。根据评估指标体系的目的需要，通过分析系统的功能层次、结构层次和逻辑层次建立相应的评估指标体系。另一种是网络型评估指标体系。在结构比较复杂的系统中，若出现评估指标难于分离或系统评估模型本身尚未确定的情况，应使用或部分使用网络状的评估指标体系。
（5）信息来源分析。指标信息的来源通常包括有关数据库、统计分析、专家咨询和主观统计。
（6）权重分析。权重是要素对目的上层目标的贡献程度的度量。通过权重分析，可以得到各个指标在综合评估中的地位和影响程度。
（7）归一化分析。归一化是指标间相互比较的基础，是进行综合评估的前提。
（8）形成初步的评估指标体系。上述各项工作完成后，便可以形成一个初步的、可供实际操作的评估指标体系。向专家咨询、在实践中检验形成初步破坏指标体系后，需要广泛征求专家、业务机关和有关人员的意见和建议，在实践中检验，以得到满意的综合评估指标体系。
指标体系的构建通常是进行体系效能评估的基础和前提，目前很多构建指标体系的方法是在传统的层次分析法基础上改进而来的，但随着网络化体系作战带来的新特点和大数据时代带来数据和评估方法的新变革，传统方法面临着一场挑战，主要体现在如下几个方面：
首先，随着对指标体系认识的不断深化，研究人员提出的原则已部分体现了指标体系的基本特征和体系作战新的变化，但仍需要进一步探索能体现网络化体系特点的更具指导性的原则。
其次，近年来，大数据的应用，使得人们在作战训练和装备研究中已经积累了大量丰富的数据，但目前研究方法的基础更多还是小数据模式和专家定性判断。
再次，现有的大部分方法仍然是以层次分析法为基础的静态分析方法，指标间的相关性，层次之间的聚合关系，指标的全面性等基础特征问题仍没有很好的解决方法。
最后，现有方法构建的指标体系，还只能满足静态条件下对单方的评估，而不能满足动态、整体、对抗条件的评估需要。