课程评价项目应包括学员的表现以及教育项目的有效性。评估计划应该伴随课程设置过程中设置完成。理想情况下,在运行教案前应该收集、分析和回顾数据,并且贯穿整个教案的过程,从而指导学员、教学人员和设计团队进行持续性的改进和提高。
目前有几种评估类型,包括形成性评价和结果终结性评价。形成性评价对应的是预先定义的能力,需要在培训过程的每一个阶段中进行评估,目的是确认培训过程中学员和项目相应改善的地方。相对应地,终结性评价关注判断个体在某项特定技能中的胜任力或者是否达到一个里程碑的结果。项目的终结性评价可能会决定项目是否已经产生影响,以及是否分配资源将该项目继续运行下去。
Kirkpatrick描述了培训项目的评估的四个层次:第一层——反应,第二层——学习,第三层——行为,第四层——结果。第一层测量学员如何对培训做出反应和帮助确定课程题目,以免在课程中遗漏。这一步可通过一个事件后的调查问卷或专题小组讨论的形式完成。第二层测量学员在培训过程中实际学习到什么。为了测量学习结果,应在培训前和培训后使用KAS工具进行测量。这一步可通过在模拟或书面测试中观察预期行为来完成。培训前后的评估测量都是很有价值的。第三层评价描述的是学员在培训后行为是如何改变的,以及学员是否能够运用他们所学的。测量表现需要长时间的观察,可在真实的临床环境中或在模拟教学实验室中完成。在情境设计过程中应包括观察工具,且包括每个学习目标的关键预期行为。最后,第四层测量培训的影响力,使用上述的问题和目标表述。
根据Biggs学习建构统一理论,评价考核是教学闭环中不可或缺的一部分,教学目标的设定、教学活动的开展与评估考核的执行应该是协调统一的。通过课前与课后的评估,可以获知学员的基线水平和学习效果;学员通过评价考核的结果(含同行评价)可以得知自身问题和改进方向。教学人员根据各方面评价考核结果以及学员对于课程的评估,可以有针对性地讨论改进课程本身,亦是对教学需求的再一次分析。
1.胜任力提升是个长程和循序渐进的过程
模拟医学课程需要整合到培训课程体系中才有价值和意义。从根本上来说,相比较传统教学方式如讲座、课程、工作坊等,SBE是有很多优点的教学工具。但它不能替代其他教学方式,如理论授课,床旁教学和临床实践等,模拟培训只是整个培训的一个阶段,需要融入一个课程体系中,以达到各专业管理机构制定的胜任力或者学习目标。
2.模拟课程建设中的核心是对于胜任力的解读和设计
这需要每一个模拟医学教育工作者在模拟课程设计中审慎思考。确定全面适合的学习目标对于医学教育者来说是个挑战。如何将胜任力还原成一系列临床任务,因为胜任力的评价需要在完成临床诊疗过程中进行综合评价。
3.模拟课程实施过程中的时间和资源分配的挑战
学员不同阶段的时间安排也可能带来课程管理方面的挑战,因为他们还要同时平衡临床工作需求。尽管大多数学员都会在差不多的时间里完成培训,这点同传统课程一样,但还有部分学员可能需要更长的时间,这就需要增加培训资源的投入。
4.模拟教学师资是保障课程开发和实施的关键要素
目前国内外均有一些模拟教学师资培训课程,但对于师资能力的评价标准尚不统一,仍需要大家共同努力。
5.评价质量的不断提升也面临挑战
围绕胜任力评价的有效工具是保障课程质量的关键,但高质量评价工具的开发是一个复杂的过程,需要各专科的专家和模拟医学教育专家共同努力完成。
6.全国共享课程开发
模拟课程大部分都是当地开发的,依赖于有模拟经验教学者,依赖于模拟实验室和设备的质量,以及参与者的参与情况。典型情况下,这些课程都是作为教学课程中其他内容的附加内容而存在。因此,需要推动发展标准化的,以学员为中心的,覆盖认证课程核心胜任力的课程。尽管各个学校、医院或专业都在近期都尝试开发模拟教学课程,但从国家层面或国际层面上对于标准化课程的接受度仍然是缺失的。
模拟医学教育的有效性已经得到充分证明,不仅有良好的学员满意度,而且能保证学员牢固掌握模拟教学的内容,同时能有效改善学员的表现并在实际临床工作中维持,越来越多的证据显示学员在临床工作中成功运用模拟教育培训时所学。经过严谨设计和实施的模拟教学甚至能取代部分的临床护理实践,这在目前临床教学资源有限的背景下有着极强的现实意义。模拟医学教育对保障患者安全、提升医疗质量有着积极的意义。
(刘继海 陈志桥)
[1] BOGUE R.Use S.M.A.R.T.goals to launch management by objectives plan.(2014-10-20)[2021-06-20].http://www.techrepublic.com/article/use-smart-goals-to-launch-managementby-objectives-plan/.
[2] BROWN DK,WONG AH,AHMED RA.Evaluation of simulation debriefing methods with interprofessional learning.J Interprof Care,2018,19:1-3.
[3] CARRACCIO CL,BENSON BJ,NIXON LJ,et al.From the educational bench to the clinical bedside:translating the Dreyfus developmental model to the learning of clinical skills.Acad Med,2008,83(8):761-767.
[4] CHENG A,PALAGANAS J,EPPICH W,et al.Co-debriefing for simulation-based education:a primer for facilitators.Simul Healthc,2015,10(2):69-75.
[5] CORY MJ,COLMAN N,MCCRACKEN CE,et al.Rapid cycle deliberate practice versus reflective debriefing for pediatric septic shock training.Pediatr Crit Care Med,2019,20(5):481-489.
[6] DALEY BJ.Novice to expert:an exploration of how professionals learn.Adult Educ Q,1999,49(4):133-147.
[7] GRANT VJ,ROBINSON T,CATENA H,et al.Difficult debriefing situations:A toolbox for simulation educators.Med Teach,2018,40(7):703-712.
[8] KIM SS,DE GAGNE JC.Instructor-led vs.peer-led debriefing in preoperative care simulation using standardized patients.Nurse Educ Today,2018,71:34-39.
[9] KRAIGER K,FORD JK,SALAS E.Application of cognitive,skill-based,and affective theories of learning outcomes to new methods of training evaluation.J Appl Psychol,1993,78(2):311-328.
[10] MCMULLEN M,WILSON R,FLEMING M,et al.“Debriefing-on-Demand”:A Pilot Assessment of Using a “Pause Button” in Medical Simulation.Simul Healthc,2016,11(3):157-163.
[11] SAWYER T,EPPICH W,BRETT-FLEEGLER M,et al.More Than one way to debrief:a critical review of healthcare simulation debriefing methods.Simul Healthc,2016,11(3):209-217.
[12] SCHUMACHER DJ,ENGLANDER R,CARRACCIO C.Developing the master learner:applying learning theory to the learner,the teacher,and the learning environment.Acad Med,2013,88(11):1635-1645.
[13] STEINERT Y,MANN K,ANDERSON B,et al.A systematic review of faculty development initiatives designed to enhance teaching effectiveness:a 10-year update:BEME guide no.40.Med Teach,2016,38(8):769-786.
[14] TEN CATE O,SNELL L,CARRACCIO C.Medical competence:the interplay between individual ability and the health care environment.Med Teach,2010,32(8):669-675.
[15] ZHANG H,GOH SHL,WU XV,et al.Prelicensure nursing students’perspectives on video-assisted debriefing following high fidelity simulation:a qualitative study.Nurse Educ Today,2019,79:1-7.