下载掌阅APP，畅读海量书库
立即打开
引言
问卷经验取样法是一种动态获取学习者即时反映数据的方法，本章首先讨论了基于问卷自我报告分析学习投入的局限性，在此基础上提出了经验取样法的内涵与价值，并系统分析了经验取样数据抽样、工具开发以及经验数据综合分析等环节，建立了基于问卷经验取样来系统分析学习投入的框架与流程。
问卷自我报告能够从认知、情感、行为等感知角度收集投入数据，对于学习投入研究具有重要价值。当前基于自我问卷报告的学习投入采集方法，还存在一些问题与局限。如从即时投入数据收集来讲，问卷自我报告通常会在一个阶段的学习活动完成后征集学生填写，难以收集认知、情感等多维度的即时数据；从动态投入趋势分析来讲，已有研究基本都是横断面研究，即采集并描述特定时点被试的学习投入状态数据，忽视投入的滞后效应，同时难以反映学习投入的动态变化过程；从多维投入关系挖掘来看，已有研究收集到的问卷自我报告往往忽略时间、环境等因素的影响，能表征简单的线性关系，缺少对不同阶段认知、行为与情感投入之间纵向影响关系的深入描述。综上所述，问卷自我报告方法所带来的单时点取样，数据取样滞后以及忽略时间影响等问题为学习投入分析带来了一定程度的滞后性和延迟性，使自我报告数据准确性很大程度上受事件记忆和语义记忆的干扰，不能保证取样的数据能够代表学习者真实的投入状态，导致研究的质量降低。且由于数据取样的局限，一般只在同一时间截面对学习投入进行相关变量的建模研究，忽视了时间序列上变量的相互影响关系。
学习投入是动态表征学习过程中学习者参与体验的重要指标，具有即时性、持续性和多维性特征，如何即时收集学习全过程数据，对学习投入展开动态分析是当前面临的重要挑战。面对问卷自我报告的局限，需要在时间轴上密集获取学习者的投入状态，并采用动态数据分析方法来挖掘时间序列上的投入状态变化信息，将当前对学习投入的静态研究转向动态研究，主要体现在即时投入数据收集、动态投入趋势分析、多维投入关系挖掘等方面。
已有的数据收集方法大多采用自陈报告对学习投入进行回溯 [1] ，即全部学习活动结束后让学习者报告学习投入情况。该方法便于采集多维度的大规模投入数据，但数据依赖学生对自我投入的主观判断，数据的可信度不高。 [2] 此外，这种传统的数据采集方法具有一定程度的滞后性和延迟性，不能保证采集到的数据能够准确代表学习过程中学习者的行为或主观感知，这些数据分析出来的因果关系和影响因素关系可能是偶发的。因此，在研究中应采集即时的投入数据，获取被试的第一反应，主要体现在数据收集的即时性和持续性，要求在学习者学习过程中即时地采集数据。
学习投入是一个复杂的过程，个体的认知和情感极易受到环境影响，学习者在学习过程中的认知、行为和情感的表现可能随着学习时间和情境发生变化。 [3] 为了全面分析整个学习过程中的投入的状态，需要保证数据收集的持续性。即在学习过程中多次采集数据，比如分阶段在特定的时间或者特定的事件进行数据的收集。这样能够更为有效地分析个体投入随时间和情境的变化趋势或学习投入子维度之间的关系。因此，学习投入动态分析应保证持续采集整个学习过程中不同时点的学习投入数据，探究学习投入在时间序列上的动态趋势，以精准了解复杂学习过程中学习投入的变化规律。
学习投入是多维关联的复杂体系，厘清学习投入的内部结构关系有助于区分学习投入内外部变量的影响效应。已有研究的多维分析主要为简单的线性分析，难以分析不同阶段认知、行为与情感投入之间纵向影响关系，也无法揭示投入子维度在时间和空间序列上的复杂关系。采用多维交叉分析方法，可以从学习投入子维度、学习不同阶段等方面交叉进行数据分析与挖掘，有助于深度识别学习投入子维度之间的关系以及学习者投入特征。尽管已有研究也探索了各个学习投入子维度之间的预测关系，但只验证了单一方向的假设关系，后续研究需要考虑到竞争假设方法的应用，从多方向、多角度探究学习投入子维度的关系。
综上所述，学习投入是动态表征学习过程中学习者参与体验的重要指标，具有即时性、持续性和多维性特征。而结合经验取样的问卷自我报告法能够多次收集日常数据，注重学习的动态过程，能够为学习投入的动态分析提供即时、持续的全过程数据，有利于精准分析学习者在学习过程中的学习体验，对于预测和改善学习绩效与学习环境具有重要意义。
经验取样法（Experience Sampling Method，ESM）其核心是捕获真实情境中人们处于某种状态的心理活动及外在行为表现，弥补了传统问卷调查无法准确测量主观体验的缺陷。 [4] 经验取样法可以即时获取日常学习或工作状态下个体的行为、情绪、感知、态度等即时性反应数据，能够用于多次对参与者经历事件的瞬时评估。 [5] [6] 在一段时间内，研究者借助辅助工具提醒被试，让被试在诸多瞬间对问题进行回答，从而达到收集即时数据的目的，众多研究者将这种方法视为一种收集“真实”数据的新方法。 [7] 该方法本质上是一种自我报告法，由于参与者是在事件发生当下的真实、自然、自发的情境中进行自我报告，并且伴随在时间维度上的多次重复测量，因此也被称为一种流动自我报告和密集纵向设计方法。 [8] 其最大的特点就是采用重复抽样的方式，在多个时间点采集个体易受时间和个体因素影响而变化的主观感知数据，如情绪、倾向性、态度等，通过被试短时间内频繁回答问题来减少偏差。 [9] [10]
该方法已经在心理学领域、人力资源管理和组织行为学领域得到了广泛的关注 [11] ，而目前经验取样法在教育领域中的应用还主要集中在对个体行为表现、认知和情感状态的感知。 [12] 经验取样法在学习投入分析中的优势体现在数据采集的瞬时性、数据描述的多维性，以及数据监测的持续性等方面，与当前学习投入研究的需求契合。经验取样法要求被试在事件发生时，将自己瞬间的情绪或交互记录下来，随着时间的推移被试的行为和经验的波动和变化能被测量出来，而传统调查法在数据采集上往往相对于事件具有滞后性。另外，在一定时间内，多次重复性采集学习投入的多维数据集有助于揭示个体学习投入的动态变化过程。因此，相对于其他测量方法，经验取样法具有很高的生态效度，能够对变量随时间推移而发生的变化状态进行准确的描述 [13] ，有利于动态地考察被试在学习过程中的投入状态变化。
综上所述，经验取样法通过在日常情景采集即时投入数据，在不同的时间或者在不同的事件发生时多次持续采集过程性数据，以及利用多维量表等技术工具采集多维投入数据，通过即时、高频率、多维度来保证取样数据的客观性。因此，经验取样法为学习投入的动态分析研究提供了新的研究视角，有助于提升学习投入量化研究的质量。
经验取样法在学习投入的动态研究中的应用关键在于利用相关技术工具收集学习过程中的即时性投入数据，并分析学习投入的时序变化特征与规律。采用经验取样法收集数据时，首先需要根据研究目的和情境确定取样的方式，而选择合适的激励方式吸引被试参与研究也会影响经验取样法采集数据的质量。在具体取样操作过程中，还应考虑数据取样的辅助工具、记录数据的方式和追踪获取样本数据的方式。
在经验取样过程中，首先要确定追踪获取样本数据的方式，一般是在一段时间内，研究者借助辅助工具提醒被试，让被试在诸多瞬间回答问题从而达到收集即时数据的目的。研究者需要综合考虑研究目的、变量出现的相对频率、时间框架以及参与者负担等多方面因素，去决定获取样本数据的方式。 [14] 常见的取样方法有四种，分别为随机取样、固定采样、基于事件的采样和情境感知经验取样，可以根据研究需要选择不同的取样方法或将多种方法结合使用 [15] ，具体的取样方法及其特点如表4-1所示。
表4-1 即时数据采集方法
随机取样法是指在随机时间获取被试的即时体验，能够更加真实地了解被试学习的情境，适用于时间和空间较为宽泛的研究。如有研究者采用手表作为信号发射工具，采用随机取样法，调查学生在不同情境下做家庭作业时的主观体验，并探究了这些主观体验与学业成果、社会情感结果的联系。 [16]
固定取样法是指在特定的时间点或时间间隔获取被试体验，由此采集的数据在时间维度上更有连续性，适于分析变量在时间参数上的变化。 [17] 有研究者借助电子记录设备，按照固定的时间间隔收集数据，如每隔5分钟采集一小段被试环境的音频，或间隔2—4小时收集一次被试的即时体验。 [18]
从上述取样方法来看，随机取样易引起被试疲劳，且不易把握情境的动态变化，因此，随机抽样时间间隔最少10分钟。 [19] 固定时间抽样非常适合于研究相对频繁的体验，因为体验可能发生在报告时或每个间隔期间。 [20] 但固定取样中时间划分需要符合研究情境的动态变化，防止周期性的影响，保证抽样频率与研究对象特征匹配。 [21]
基于事件的取样法是指基于特定的事件采集被试即时体验，这种数据更接近于事件发生的真实性。这种取样方法适用于研究在日常生活中不太常见的行为或事件，这些行为或事件可能不会出现在给定的间隔内。另一种情况是研究人员对特定的事件感兴趣。如单迎杰等希望采集学习者在慕课平台中信息技术工具使用的数据，从个体即时体验和长期体验两个角度进行定性和定量分析。 [22]
情境感知取样法是指借助计算机和传感器等技术，自动侦测事件，同时完成数据的收集，通过数字化技术采集被试的即时体验和行为，能够避免自陈测验等产生的数据偏差。例如通过可穿戴设备（如手环、头盔等）作为数据收集的载体，实现对学生相关指标的追踪记录；利用心电、脑电、眼动等生物传感器获得的生物数据具有真实性、情境性、可视化、精确定量及多维度等特性，有利于把握学生的情绪和认知状态的变化。 [23]
四种抽样方法并非完全对立，有时需要结合二者进行应用，如斯泰格尔等 [24] 结合时间取样和事件取样研究暴饮暴食前因变量，在固定的时间段内随机发送作答信号，并要求被试每次暴饮暴食后仍要作答。
任何一种数据收集方法，被试必须都是自愿参与研究，并且尽量保证完整参与整个研究过程。而即时性过程数据的收集周期较长、抽样次数多，被试的任务相对繁重，需要被试在一周或两周内的时间按照要求完成问卷报告，进行多次的重复抽样，有可能会影响被试的日常生活 [25] ，考验其耐心和注意力，所以更要重视被试的参与意愿和意愿维持，才能避免数据大量缺失的问题。鉴于此，可以采取一定奖励措施吸引和维持被试，如采用实物奖励，建立稳固的研究关系。另外，也可以在研究进展过程中与被试深度交流，维持被试参与的积极性。
综上所述，经验取样法在数据取样上具有有效性和可靠性 [26] 。经验取样法的两大类抽样记录策略为：在一段时间中不同时间进行记录，或者是一段时间中各种事件发生时进行记录。这种高频率、即时性的记录保证了获取自我报告的代表性和客观性。经验取样法对被试的招募程序也会对取样内容的可靠性产生影响，当被试充分地理解了研究目的，仍然决定参与的志愿者会更加积极主动地报告其经历和体验，由此得来的数据也相对更真实可靠。 [27]
经验取样过程中，还要设计与开发数据收集工具。已有经验取样法的研究工具主要为电子量表或纸质量表，被试在学习过程中多个瞬间进行自我报告，从而达到自然环境下采集即时数据的目的。 [28] 其中电子问卷的使用促使研究者可以比较轻松地收集到日常生活中的数据，使被试参与调查更为便捷和高效。关于追踪获取样本数据的方式，被试在收到作答信号时，需要立即回答量表中的问题。由于经验取样法要求学习者在较短的时间段内进行多次报告，因此量表的题目不宜过多，作答时间应该控制在1—2分钟 [29] 。
个体对自我在学习过程中的学习投入报告，是获取学习者学习投入状态最直接的评价方式，通常采用量表对个体的情况进行评分 [30] ，比如采用五点里克特量表。已有评价量表如全美大学生学习投入调查（NSSE）、学生学校投入问卷（SSES）等，但多为自陈测验形式的量表 [31] [32] ，即只能在学习结束时填写一次，不具有重复填写的属性。国外关于即时数据采集的量表较多，但如需迁移到国内研究情境中，还需在已有自陈测验问卷和国外即时数据采集问卷的基础上，结合研究情境和学习者个体的情况对问卷的题目进行处理。 [33] [34]
此外，新技术与工具为数据采集提供了技术支撑。研究者可以利用移动互联技术、采用采集器和传感器等发射随机信号，提醒被试完成自我报告，获取个体在自然状态下的学习投入状态。还可以设置发射信号的时间间隔，使取样更加灵活和随机，从而获取不同情境、不同时间中被试的瞬时行为、学习体验和心理状态等。如施密特等采用震动寻呼机作为辅助工具，从学习活动和学生选择两个方面探究课堂学习投入的影响因素。 [35] 谢等研究者使用智能手机进行提醒，采用经验取样法对情感投入、认知投入、行为投入和自我调节进行了测量。
经验取样法收集到的学习投入数据既包含日常投入的时间频率、持续时间等客观量化信息，也包含认知、行为、情感投入等主观感知信息，有助于对学习投入变化原因进行更深刻的剖析。由于经验取样法收集的是学习者在学习过程中的即时数据，因此，如果学习者在一定时间内没有立即作答，可通过再次发送作答信号进行多次提醒，如果学习者是超过一定时间作答的，则该数据作废。 [36] [37] 在处理收集到的数据时，根据实际情境剔除不合格的数据，比如填写不规范，不符合研究标准和中途退出的被试数据等。
最后基于经验取样收集的丰富的纵向密集数据，结合聚类分析、相关性分析和因果分析等数据分析方法探究学习投入在学习活动过程的各阶段的特征及其影响机制，实现对学习投入的多维度动态分析。聚类分析一般是指基于子投入的水平进行聚类，探究不同群体的学习投入状态特征，或者不同学习投入特征的群体在学习绩效等其他与学习相关的变量上的差异。相关分析与因果分析一般用于探究学习投入子维度之间的关系或者学习投入各维度与学习绩效之间的影响关系，其中交叉滞后分析法（Cross-lagged panel analysis）是处理纵向数据的方法，可以用来探究一段时间内变量之间的预测关系，有利于揭示某些变量在纵向时间序列上的因果关系。 [38] 因此，可以采用经验取样法结合交叉滞后分析法建立两个或两个以上的竞争性模型，探究认知、行为和情感投入在不同学习阶段的预测关系，对于探究学习投入变化的内在机制具有重要意义。
学习投入状态会随着学习时间和情境的变化而变化，其具有即时性、动态性和多维性等基本特征，如何在复杂的学习过程中即时、持续以及多维度获取到学习投入数据是当前投入研究的难点。问卷自我报告的研究方法存在一定局限，采集方式多为学习活动结束后的自我报告，具有一定程度的滞后性和延迟性；另外，只在同一时间截面对学习投入进行相关变量的建模研究，忽视了时间序列上变量的相互影响关系。因此，学习投入研究需要在时间轴上密集获取学习者的投入状态，并采用动态数据分析方法挖掘时间序列上的投入状态变化，即要从当前对学习投入的静态研究转向动态研究，从横向研究转向纵向研究，主要体现在即时投入数据收集、动态投入趋势分析、多维投入关系挖掘等方面。
基于问卷经验取样的动态分析流程包括数据取样、工具开发、数据分析三个步骤。采用经验取样法进行数据取样时，需要根据研究目的和研究情境确定取样的方式，同时选择合适的激励方式吸引被试合理参与研究也会影响研究的质量。在具体取样操作过程中，还应考虑数据取样的辅助工具、记录数据的方式和追踪获取样本数据的方式。在数据分析过程中，基于丰富的纵向密集数据，结合聚类分析、相关性分析和因果分析等数据分析方法探究学习投入在学习活动过程的各阶段的特征及其影响机制，实现对学习投入的多维度动态分析。
在未来研究中，移动技术支持的经验取样将成为趋势，能够降低对被试者生活和学习的干扰，且更便于进行实时的动态监测。其次应进一步采用新兴技术来降低数据收集和分析的难度，有助于提升经验取样的内部效度。具体来说，利用移动设备的内置采集器、传感器等能够对学习者当前所处的环境有所“感知”，并将环境信息（如位置、噪声、光线）和学习者的生物数据（如温度、心跳、眼动）进行自动记录。这些客观的数据相比传统自陈测验的数据，具有更高的内部效度。 [39]
[1] Hoorens，V.，et al.，“The Science of Self-report. Implications for Research and Practice”， Experimental Psychology ，Vol. 50，No. 3，2001，pp.231-232.
[2] 张娜：《国内外学习投入及其学校影响因素研究综述》，《心理研究》2012年第2期。
[3] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[4] 张昱城等：《经验研究的新范式——经验取样法》，《中国人力资源开发》2019年第1期。
[5] 张银普等：《经验取样法——一种收集“真实”数据的新方法》，《心理科学进展》2016年第2期。
[6] Larson，R.，Csikszentmihalyi，M.，“The Experience Sampling Method”， New Directions for Methodology of Social & Behavioral Science ，Vol.15，1983，pp.41-56.
[7] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[8] 万力勇等：《经验取样法（ESM）：促进真实情境下的学习体验研究》，《远程教育杂志》2019年第6期。
[9] Bolger，N.，Laurenceau，J.P.， Intensive Longitudinal Methods：An Introduction to Diary and Experience Sampling Research， New York：Guilford Press，March，2013.
[10] Song，Z.L.，et al.，“Unraveling the Daily Stress Crossover between Unemployed Individuals and Their Employed Spouses”， Journal of Applied Psychology ，Vol.91，No.1，pp. 151-168.
[11] 刁惠悦等：《经验取样法在组织行为学和人力资源管理研究中的贡献、应用误区与展望》，《中国人力资源开发》2019年第1期。
[12] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[13] Fisher，C. D.，To，M. L.，“Using Experience Sampling Methodology in Organizational Behavior”， Journal of Organizational Behavior ，Vol.33，No.7，2012，pp.865-877.
[14] 张银普等：《经验取样法——一种收集“真实”数据的新方法》，《心理科学进展》2016年第2期。
[15] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[16] Shumow，L.，et al.，“Adolescents’ Experience doing Homework：Associations among Context，Quality of Experience，and Outcomes”， School Community Journal ，Vol.18，2008，pp.9-27.
[17] 万力勇等：《经验取样法（ESM）：促进真实情境下的学习体验研究》，《远程教育杂志》2019年第6期。
[18] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[19] L.L. Carstensen，et al.，“Emotional Experience Improves with Age：Evidence Based on over 10 Years of Experience Sampling”， Psychology and Aging， Vol.26，No.1，2011，pp. 21-33.
[20] 万力勇等：《经验取样法（ESM）：促进真实情境下的学习体验研究》，《远程教育杂志》2019年第6期。
[21] Ebner-Priemer，U. W.& Trull，T. J.，“Ambulatory Assessment：An Innovative and Promising Approach for Clinical Psychology”， European Psychologist， Vol.14，2009，pp.109-119.
[22] 单迎杰等：《慕课学习中信息技术工具使用的学习体验分析》，《中国远程教育》2019年第12期。
[23] P.M. Blikstein，“Multimodal Learning Analytics and Education Data Mining：Using Computational Technologies to Measure Complex Learning Tasks”， Journal of Learning Analytics ，Vol.32，No.11，2016，pp.220-238.
[24] H. Steiger，et al.，“Mood-and Restraint-based Antecedents to Binge Episodes in Bulimia Nervosa：Possible Influences of the Serotonin System”， Psychological Medicine ，Vol.35，2005，pp.1553-1562.
[25] 王若宇：《经验取样法方法论述及其应用展望》，《智库时代》2020年第4期。
[26] 张昱城等：《经验研究的新范式——经验取样法》，《中国人力资源开发》2019年第1期。
[27] Kubey，R.，et al.，“Experience Sampling Method Applications to Communication Research Questions”， Journal of Communication ，Vol.46，No.2，1996，pp.99-120.
[28] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。
[29] 段锦云、陈文平：《基于动态评估的取样法：经验取样法》，《心理科学进展》2012年第7期。
[30] Schwarz，N.， Why Researchers should Think “Real-time”：A Cognitive Rationale ，New York，NY，US：The Guilford Press. 2012，pp.22-42.
[31] 李爽等：《在线学习行为投入分析框架与测量指标研究——基于LMS数据的学习分析》，《开放教育研究》2016年第2期。
[32] 李爽、喻忱：《远程学生学习投入评价量表编制与应用》，《开放教育研究》2015年第6期。
[33] Xie，K.，et al.，“Affordances of Using Mobile Technology to Support Experience-sampling Method in Examining College Students’ Engagement”， Computers & Education ，Vol.128，2019，pp.183-198.
[34] Schmidt，J. A.，et al.，“A Person-in-context Approach to Student Engagement in Science：Examining Learning Activities and Choice”， Journal of Research in Science Teaching ，Vol.55，No.1，2018，pp.19-43.
[35] Schmidt，J. A.，et al.，“A Person-in-context Approach to Student Engagement in Science：Examining Learning Activities and Choice”， Journal of Research in Science Teaching ，Vol.55，No.1，2018，pp.19-43.
[36] K.C. Manwaring，et al.，“Investigating Student Engagement in Blended Learning Settings Using Experience Sampling and Structural Equation Modeling”， The Internet and Higher Education ，Vol.35，2017，pp. 21-33.
[37] Dimotakis，N.，et al.，“An Experience Sampling Investigation of Workplace Interactions，Affective States，and Employee Well-being”， Journal of Organizational Behavior， Vol.32，2010，pp.572-588.
[38] 蔡丹等：《青少年的心理弹性及自我概念：一年跟踪的交叉滞后分析》，《心理科学》2018年第4期。
[39] 卢国庆等：《面向即时数据采集的经验取样法：应用、价值与展望》，《电化教育研究》2019年第6期。