应急演练评估的价值在于它能对参演者提出建设性(正面或负面)反馈,以改善有关机构应急响应的有效性。负责准备评估报告的人员通过分析各个评估员提供的评估结果,来分析演练活动和任务是否得到顺利的执行,目标是否顺利实现,从而全面评价演练所反映出的应急响应能力。因此在演练实施时,评估员要善于观察演练,广泛收集数据,并且保留这些原始、准确的观察记录和笔记。这些记录将成为应急演练评估的基础和根据。
每个评估员对演练中发生的所有事件的准确、细致、全面、完整的记录,对了解参演者的行动十分关键和重要。
应急演练的内容很多,评估员在观察、记录之前需要思考以下几个问题来明确观察、记录的主要内容。第一,选择观察的角度。怎样从特定角度或多种角度进行观察?第二,观察的重点是什么?主要着重、着眼于哪些方面?第三,用什么样的标准来观察参演者的行为?总体来说,评估员至少应当观察、记录以下各项参演者行为:
(1)监测和评价模拟场景主要事件的情况;
(2)对初始场景采取的行动;
(3)作出的关键决定及收集的信息、作决定的时间;
(4)偏离预案的做法及实施步骤;
(5)缓解突发危急情况的行动和结束的时间;
(6)发出的指令及指挥处置的方式和结果;
(7)是否有预案或程序影响参演者的表现;
(8)演练目标如何实现或者哪些还没有实现;
(9)导致参演者没有达到能力目标或实现关键任务的明显原因或根本原因;
(10)参演者创造性解决问题的活动和改进建议;
(11)参演者之间的沟通;
(12)利用资源的情况;
(13)使用或执行的预案、政策、程序或法律法规的情况,以及促使形成结果的任何其他因素。
以上只是列举了观察记录的主要内容,在实际的应急演练过程中,需要评估员具体问题具体分析,结合演练目标对演练过程进行观察和记录。尤其要重点记录指挥部面对某一突发事件或关键事件时做出相应决策的时间(开始、结束时间点)、各种决定及采取的各种措施与行动,处理棘手问题的方式方法,演练过程中的经验和教训及对将来处理类似情况的建议,演练过程是否达到了所设定的预期目标,自己对以上关键问题的评价等。评估员要尽可能客观地对演练过程进行观察,不带有偏见或成见,并认真填写“演练评估表”和“演练组织评估表”。
上一节对于评估组组长和评估员在演练活动全过程中的职责和任务给予了全面的描述。这里对于评估组在演练实施期间的观察与收集数据的具体任务再进行详细的说明。
评估组在演练的观察演练、收集数据阶段,主要应该担负以下职责:收集数据,检查紧急情况行动计划、标准行动程序等,记录在演练期间发生的讨论,参加参演者的热反馈等。
(1)确保评估员位于恰当位置;
(2)确保评估员配备恰当的文件和设备;
(3)确保评估员观察并记录参演者的行动;
(4)确保评估员需要时能获得后援;
(5)与演练组织者相协调。
(1)在演练期间随着演练的进展记录讨论;
(2)演练后检查笔记是否有遗漏和缺失之处;
(3)出席演练后的参演者热反馈;
(4)收集参演者对演练的观察和看法;
(5)澄清某些问题或收集缺失的信息,弥补遗漏之处。
评估员在观察演练、收集数据的过程中需注意以下事项:
(1)尽可能减少偏见,避免在演练中作出主观判断和结论;
(2)避免受过于有影响力的参演者的影响;
(3)如果无法记录重要的数据,联系评估组组长,寻求协助;
(4)避免在演练期间作出最终的评估和判断;
(5)避免与参演者交谈,谈话可能影响评估员对演练的印象;
(6)把握好角色定位,要意识到评估员只是一个旁观者和局外人,要重在记录事实情况而不干扰进行中的活动;
(7)向评估组组长报告遇到的问题;
(8)避免随意离开观察位置。
需要说明的是,在演练过程中,如果评估员对参演者的某些活动有疑问,评估员需要以谦虚、专业、友好的态度与参演者进行适当的沟通,从而作出准确的评估。如果评估员在所属的观察区域的大部分活动是通过电话进行时,与参演者的互动就显得尤为重要。例如在应急指挥中心和新闻中心的演练现场往往会出现下述情况:由于评估员听不到电话另一端的谈话内容,必须询问参演者在与谁通话以及通话的内容。但评估员不应该打断参演者的活动来询问问题,而是应该等到活动暂停的时候进行询问。这些问题也不能以任何方式提示或者引导参演者做出某种行动,交谈应该简短、聚焦。
评估员应当位于可以很好观察参演者行动、听到他们的谈话但不妨碍其行动的位置。有些情况下可能需要在某一地点或区域布置多个评估员。
主要是记录与所分配的职能相关的一切情况和事实,不需要推理,因此数据较为可靠。
通常是一些推测原因的数据。由于较难收集到可靠信息,因此需要评估员在记录数据时进行推断。
不仅需要推断,还需要对参演者行为作出评价性判断。这方面的数据收集起来最为复杂和困难。这些数据和资料主要来源于演练组织者的笔记、评估员填写的应急演练评估表、参演者反馈表。
(1)评估员要能够熟练使用演练评估表,对他们所负责领域的演练行动进行记录。
(2)评估员应当记录演练中的重要活动和重要事件,并注明哪些方面需要进一步评估。演练期间很多事件可能同时发生,但评估员不需要记录所有行动。要知道哪些事件是重要的,这样就可以剔除那些无关紧要和不必要的信息,为整个应急演练评估提供最重要的数据和信息。为此,在演练前,需要培训评估员明确如何区分主要行动和次要行动。观察笔记应包括定量或定性目标是否实现以及如何实现。比如,一项能力目标可能是“在发生突发事件4个小时内做到……”,关于这项目标的笔记应包括演练参演者完成关键任务需要的实际时间。
(3)在演练期间,如参演者向评估员提出问题或要求做出某种澄清,评估员应将这些问题转给演练组织者(催化师或导调员)。
(4)评估员作为演练的第三方,在整个应急演练过程中要做到不介入、不参与演练组织者和参演者的工作。在观察过程中,评估员不要到指挥部去,即使发现指挥部某成员或者整个指挥部的工作有问题,也不能干扰其工作。不与任何参演者进行可干预或影响其表现的接触、交谈。评估员要告诫自己,自己的工作只是做观察,不能影响和干涉整个演练的进程。
(5)演练结束后,评估员应立即核对参演者所填写的参演者反馈表,自己所填的表格和所做的笔记,以确保能在热反馈、事后研讨会的讨论中对有关事件和行动做出准确回顾。
(6)参演者反馈表、评估表与评估员的笔记、观察记录这些评估文件和材料将一起用于应急演练评估,并成为演练记录的一部分,收录于评估报告中。
应急演练结束后,评估员应立即与参演者、演练组织者举行一个非正式的讨论会———热反馈,趁大家对演练有清晰的记忆时征集对演练的评价,对演练活动进行评估反思。这是一个收集参演者意见的难得机会。当然,讨论的重点是参演者在演练过程中所展示的长处和需要改进的地方。观察人员不需要参加,除非受到邀请。
参演者既可以对自己在演练中的表现进行自我评价,也可以对其他参演者和参演单位在演练中的表现进行总体评价,还可以对演练本身或演练组织者提出看法。
(1)补充记录演练期间发生的情况,与参演的各方人员分析讨论相关议题。
(2)收集参演者对演练的评价以及提出的改善演练设计的建议。
(3)为评估员提供澄清某些问题或收集缺失资料和信息的机会。
(4)获得热反馈的记录和填写好的事先发给演练者的反馈表,收集额外的资料和信息,为完成演练组织者笔记和评估员填写评估表提供帮助,还可以用于演练后的分析和评估报告的编写。
由于应急演练需要反思的内容较多,要留有充分时间进行热反馈,让每个参与者都认真反思。
评估员要检查笔记有无缺失之处,若有,则可以通过对参演者个别访谈、座谈或倾听参演者陈述,收集参演者的讨论和反馈表来补充信息;也可以要求参演者提供自我评估总结材料,向参演组织者索取演练的文字材料等,还可以收集来自演练过程中的信息系统产生和保存的记录(类似于实际突发事件中保存的证据)来补充信息。
这些补充调查工作有助于进一步收集、了解演练组织实施的相关情况,补充评价表上的数据,帮助评估员验证自己的评估结果,明确不准确的信息对行动的影响,以便于准确评估演练效果。