2003年,AGREE协作组织制定并发布指南研究与评价(Appraisal of Guidelines Research and Evaluation,AGREE)工具,并定义指南质量的可靠性包括指南开发的潜在偏倚应准确描述,所作出的推荐建议应在内部和外部都有确实的证据,并在实践中是可行的。为进一步提高AGREE工具的可靠性和有效性,由AGREE协作组织的几个主要成员组成的AGREE协会(AGREE Next Steps Consortium)对AGREE工具进行修订,于2009年发布AGREE Ⅱ。
AGREE Ⅱ评估系统可以用来评价地方、国家、国际组织或联合政府组织发布的指南,适用于一切卫生保健环节中的任何疾病领域,包括诊断、健康促进、治疗或干预。AGREE Ⅱ的适用人群包括卫生保健提供者、指南开发者、政策制定者和教育工作者。以下对AGREE Ⅱ的介绍参考其中文翻译版(中国中医科学院广安门医院循证实践小组翻译,中国中医科学院广安门医院谢利民教授审校),更多详细内容也可查阅AGREE主页(http://www.agreetrust.org/) [3] 。
AGREE Ⅱ评估系统包括6个领域23个条目及2个总体评估条目。每个领域针对指南质量评价的一个特定问题。
涉及指南的总目的、特定卫生问题和目标人群。
涉及指南开发小组成员组成的合理程度,并能代表目标使用人群的观点。
涉及证据的收集和综合过程,陈述和更新推荐建议的方法。
涉及指南的语言、结构及表现形式。
涉及指南实施过程中的有利条件和潜在不利因素及其改进策略,以及应用指南涉及的相关资源问题。
涉及指南推荐建议的产生不受相关利益竞争的影响和左右。
全面评价包括对指南质量的全面评估,以及是否推荐在实践中使用该指南。
AGREE Ⅱ各条目的具体内容及说明见表8-1 [4-5] 。
表8-1 AGREE Ⅱ的评价条目及说明
续表
续表
在使用AGREE Ⅱ评价指南质量之前,评估者应先仔细阅读整个指南文件,并尽可能获得指南开发过程中的所有信息。这些信息可能作为指南的推荐建议与指南存在于同一个文件中,也可能汇总在一个单独的技术报告、方法学手册或指南开发者的政策声明中。评估者应将这些资料作为评估时必要材料的一部分,以便作出恰当的评估。
推荐至少2个,最好4个评估员来评价每个指南,以增加评价的可靠性。
AGREE Ⅱ的所有条目均按7分等级量表进行评分。如果没有与AGREE Ⅱ条目相关的信息或者报告的概念非常差,则为1分;如果报告的质量很高,满足用户手册要求的所有标准和条件,则为7分;如果条目报告不能满足全部标准或条件,则根据不同情况给予2~6分。分值分配取决于报告的完整性和质量。当更多的标准被满足且理由更充分时,则分值增加。
AGREE Ⅱ分别计算各个领域的质量分值。6个领域的分值是独立的,不能将其合并为一个单一的质量分值。每个领域得分等于该领域中每个条目分数的总和,并标准化为该领域可能的最高分数的百分比。
例如4位评价者给领域1(范围和目的)的评分见表8-2,则最大可能得分=7(很同意)×3(条目)×4(评价者)=84,最小可能得分=1(很不同意)×3(条目)×4(评价者)=12。领域分值为(实际得分-最小可能得分)/(最大可能得分-最小可能得分)=(53-12)/(84-12)×100%=0.569 4×100%≈57%。如果评价过程中没有包括某些条目,则需要适当修改最大可能得分和最小可能得分的计算方法。
表8-2 领域1评分表举例
在完成23个条目评价之后,评估者还应当完成2个指南的全面评价条目。全面评价需要评估者考虑到每个评估标准,对指南质量作出一个准确的综合判断,并要求回答是否推荐使用该指南。
有时,AGREE Ⅱ的某些条目可能并不适用于一些特定的指南。例如,范围较小的指南可能不会提供疾病的所有可能的处理方法(见条目16)。AGREE Ⅱ评分表中没有“不适用”这一选项;对此,可用不同的办法进行处理,包括评估者在评价过程中跳过这个条目,或者评分为1分(信息缺失),并提供关于这个分值的文本。不管如何处理,必须提前作出决定,并明确描述。如果跳过条目,适当修改后再计算这个领域的分值。原则上,不主张在评价过程中剔除某个条目。
(伍俊妍 苏 晨)