自我陈述法(Self-report)最早用于心理学研究 [26] ,研究者根据被试者对一系列关于情绪、行为及性格特征的问题的回答,对其病情进行判断。该方法通常让被试者在完全无干扰的环境中完成纸质版或电子版的测试。这是一种在心理学领域被普遍应用的方法。但是,在应用自我陈述法的过程中,心理学领域的研究者发现了该方法的局限性,即人们在自我陈述经验、想法时,很容易通过反馈夸大事实。例如,部分被试者会有从众心理,他们会按照社会广泛接受的标准来回答问题。因此,多数心理学研究或诊疗专家建议不要单独使用自我陈述法,可以将其与被试者的行为习惯、使用经验结合起来,一同作为判断的依据。根据实际情况辅以其他研究方式,可以最大限度地弥补自我陈述法的局限性。
近年来,自我陈述法作为一种简单、灵活的数据采集法在产品开发领域被广泛采用。这种方法通过让个体回顾和描述自己使用产品的过程和经历,为研究者提供素材。自我陈述可以以谈话、录音等口头形式进行,也可以以日记、笔记、问卷等书面形式进行 [27] 。图1-18就是一位被试者在办公室环境中使用电动按摩椅时用手机记录使用情况并及时反馈的场景。为了研究用户在办公室环境中对电动按摩椅的操控体验,需要记录被试者在不同使用阶段的感受。与家用情况不同的是,办公室环境中的设施是共享的,时间跨度较长且使用条件无规律的客观条件加大了可用性测试的难度。在这个案例中,使用自我陈述法让诸多棘手的问题迎刃而解:研究者既不用受制于时间问题也不用担心反复实地造访产生不便,被试者只需按照各自的使用时间和地点参加测试即可。
图1-18 办公场所调研实例
相较于其他数据采集法,自我陈述法的实施流程较为灵活,更符合当代时间碎片化的客观情况,因此被普遍应用于了解用户的情绪、态度、观念等主观感受的研究中。此外,自我陈述法也经常与观察法或问卷法结合使用,对定量数据进行采集。
自我陈述法虽然与其他数据采集法(如观察法、单人访谈法和问卷法)有着相似的特性,但是从场景还原度和反馈收集难度上来看,自我陈述法有明显的综合优势。图1-19是自我陈述法与观察法、单人访谈法和问卷法的比较。
图1-19 自我陈述法与观察法、单人访谈法及问卷法的比较
1.自我陈述法与单人访谈法
在单人访谈中,研究者时时刻刻陪伴着被试者,随时对被试者进行引导或帮助,并记录被试者的反馈,把控实验进度。而自我陈述法更注重不受干预的自然使用环境,整个过程由被试者掌握,对结果的反馈较为滞后和间接。
2.自我陈述法与观察法
同样是追求自然、真实的使用环境,观察法的实验条件较自我陈述法更为粗放、自由,并且研究者以观察结果为依据进行后期分析(通常为定性分析)。相比之下,尽管自我陈述法的整个过程处于无人工干预的状态,但最后必须通过被试者的主动“汇报” 来收集反馈。因此,在某些复杂的自我陈述开始之前,我们需要让被试者充分了解研究的目的及实施步骤。当然,自我陈述法对于结果的分析也必须基于被试者的自我表达,可定量也可定性。如果条件允许,建议尽量使用自我陈述法与观察法相结合的方式。
3.自我陈述法与问卷法
收集反馈是自我陈述法中很重要的部分之一,而反馈表也是研究者常用的工具。本质上,自我陈述法中使用的反馈表无异于问卷法中的问卷。自我陈述法一般会根据被试者的主观感受设计问题,可在产品使用过程中分次实施;问卷法则可兼顾主观感受和客观现象,多为一次性的调查。另外,问卷法相对独立,可以随时随地开展;而自我陈述法有着较为严格的适用条件,被试者须置身于产品使用场景中进行独立思考并主动表达,以保证反馈的信息足够真实。
现有的数据采集法大多可为产品开发的各个阶段服务,自我陈述法却是个例外。由于研究者对实施该方法的整个过程的干预度较低,所以自我陈述法的适用条件较为严苛。
首先,自我陈述法较适用于产品发布后或功能完整度较高的产品的试用期。由于在整个数据采集过程中被试者几乎没有接受引导的机会,所以产品的稳定性就成为了该方法成功的第一要素。没有多少人愿意测评一个经常出故障的产品,即使被试者很耐心地按照要求提交了反馈,获得的数据也不会对改进产品有太大帮助。
那么,可以用完美的设计图纸替代真实有形的产品吗?在产品开发的大多数阶段的用户研究中,设计方案甚至是草图给予了研究者极大的帮助,既能帮助被试者对产品产生形象的认识,又能保持较低的测试成本,并且方便修改。但是,如果我们希望进行全面、深入的用户研究,那么对真实有形产品的使用经历远比纸上谈兵实用。
此外,自我陈述法要求被试者在使用过程中主动反馈问题,这势必提高了对被试者的要求。明确被试者是所有数据采集方法的基础,自我陈述法的被试者不仅是产品的目标用户,还要能积极主动地参与到记录和反馈的实验活动中。在试用新产品的过程中,高级用户甚至专家级用户具有较为丰富的产品使用经验,更易提出建设性的反馈意见。当然,如果研究的目的是了解新用户的使用情况,那么对被试者的要求就另当别论了。
为了收集到更有价值的信息,要尽量对被试者的参与兴趣度进行评估。例如,在某些产品的用户论坛或会员俱乐部中,可以很容易地发现一些活跃的用户,他们长期参与对产品的评论并善于分享自己的使用经历。如SAP的用户论坛上就设有专门的板块供全球用户参与产品的创新。另外,不直接参与产品研发的内部员工也可能是很好的测试对象,图1-20就是通过公司论坛收集到的内部员工反馈。
图1-20 利用论坛收集到的内部员工反馈
综上所述,邀请经验丰富的粉丝用户参与其中,让他们在稳定的产品使用环境下表达自己真实的感受,正是自我陈述法的核心所在。
和其他数据采集方法一样,自我陈述法的反馈收集是至关重要的。而在多数情况下,反馈表几乎是研究者与被试者之间唯一的沟通途径。那么如何用一份简单的反馈表对被试者进行引导,就成了保证测试有效性的关键。在为自我陈述法制作这类反馈表时,一般不提倡使用篇幅长、步骤过多的问题,简单易理解是基本原则。否则,因反馈表过于烦琐而使被试者中途放弃测试或草草了事也是非常可惜的。
一般来说,自我陈述法的反馈表包括前言、主体和结语3部分。前言部分应该讲明白调研的目的、意义、步骤、关于匿名的保证,以及对被试者的要求,最后要对被试者的配合予以感谢,并且要附上研究者所属机构或组织的名称、调查时间。主体部分是主要部分,这一部分应包括调查的主要内容,以及一些说明。结语部分是调查的一些基本信息,如调查时间、地点、调查员姓名、被试者的联系方式等。关于问卷的设计可参照本书相应章节。
自我陈述法的反馈并不要求内容的广泛和全面,而更侧重于让被试者在使用产品后,以某种轻松的方式积极主动地向产品开发者反馈自己的使用经历或建议。至于反馈表的形式,则取决于产品本身的特点。大部分互联网产品使用网页形式的反馈表,这种形式的好处在于不仅易于数据统计,更提供了与用户互动的可能性。尤其需要指出的是,反馈并不一定拘泥于纸面的数据,在有条件的情况下采用录音甚至是录像,结合出声思维(Think Aloud)的方式,也会令结果更加丰富。这是因为出声思维 [28] 的基本特点正是要求被试者在完成任务的同时以口语的形式报告操作情况,可用性测试专家通过对被试者报告的内容进行分析,可以获知被测系统中存在的问题,哪些部分常为被试者忽视或误解,以及被试者对被测系统的看法,等等。在理想情况下,出声思维更能表达被试者的主观情绪和他们在产品使用过程中的即时反应。
对于一些复杂的产品或系统,自我陈述法是比较合适的调研方法,这是因为用户对复杂产品的认识需要一定的时间。传统问卷的结构形式相对单一,内容覆盖面广,问题精细度高;而自我陈述法的问卷相对灵活,旨在成功引导被试者,提倡轻松、活泼的表达方式。我们先将自我陈述法的问卷划分为若干部分,划分标准可以是功能模块,也可以是用户的行为层次,之后就能够“因地制宜”地设计问卷了。
本节将以对按摩椅操控性的调研为例,展示自我陈述法是如何被运用于实际的。在发售了该按摩椅之后,研究者期望收集办公环境下的用户使用反馈,以便对按摩椅进行更有针对性的调整。这不仅要收集用户对产品的第一印象,还要了解用户在使用一定次数之后对该产品的评价、提出的问题或建议。由于实地访谈条件受限,且按摩椅的使用时间也十分随机,所以研究者最终决定采用自我陈述法,在几个月内持续收集了多名用户在不同使用阶段的反馈数据。研究者邀请若干名被试者使用各自办公室中的按摩椅,并通过自述和问卷相结合的方式来反馈使用过程,对使用体验进行即时评价(如图1-21所示)。
图1-21 用户自述使用体验
根据用户的使用层次不同,按照以下3个步骤逐级深入收集用户反馈。
1.对该款按摩椅的整体印象(对所有用户适用,兼顾新用户、普通用户和熟练用户)
无论是哪种层次的用户,都有自己对产品的理解和评价。即使是不太了解产品使用细节的新用户,也能通过按摩椅的说明书、操控面板上的菜单导航、简单交互等方式,对其操控性进行大致的评价。尽管整个问卷的结构是严谨的,但研究者还是需要在问卷的初始部分给用户营造轻松、易解答的氛围。免录入的问卷形式是比较符合这种要求的,通过点击已有选项来打分可能是比打字录入更容易被接受的方式之一。用户只需轻轻一点,就能发表自己的评价,以这种免录入的形式作为问卷的开始,可以最大限度地消除用户对传统问卷的抵触感,逐步将用户引导进更深入的问题。
最重要的是,无论完成度如何,用户都可以随时发送问卷。这样的做法能够很好地保留已录入的数据,不会产生因为用户中途关掉窗口所造成的部分有效数据丢失的现象。另外,问卷中的产品使用次数也是非常有价值的信息,用户可以在使用的任何阶段反复对产品进行反馈。尤其对于一些复杂的产品,第一印象远不及用户反复尝试、深思熟虑后的反馈重要。追踪用户态度在整个产品使用周期中的变化也是非常有意义的。在产品使用过程中,这种反复就同一个主题提交评价的做法正是自我陈述法的优势所在。该案例中对整体印象评价的反馈如图1-22所示。
图1-22 整体印象评价
2.对该款按摩椅的主要操控功能进行排序,标出最易操作或最有帮助的功能(对所有用户适用)
在图1-23中,研究者列举了该按摩椅操控系统中的亮点功能,并请用户根据自己的使用经验,找出这些功能中最有用或最好用的几个。对于设计人员或产品经理来说,如果用户在使用一段时间后,没有对产品设计之初所规划的亮点功能进行关注或给出好评,就说明该产品在设计定义上出了问题,这为后期的深度测试提供了明确的方向。另外,在一些服务性项目中,绘制用户旅程地图有助于了解用户的使用体验及交互状态 [29] 。自我陈述法能持续收集用户反馈,十分适合捕捉产品整个生命周期中的用户体验。如果说问卷法是在一个点上撒网,那么自我陈述法就是在一条时间线上串起了多个小网,观其过程,察其变化。
图1-23 功能评价
3.在既定业务场景中的专业问题反馈
这部分需要用户在深入接触产品的基础上,结合自己的实际使用经历来进行反馈。尽管部分用户本身已经是资深的产品使用专家,能够轻松自如地就产品存在的问题“侃侃而谈”,但反馈表还是要尽量按功能模块或使用步骤列出不同问题,保证被试者不会漏掉任何一个关键环节。尤其是对于较为复杂的产品,如软硬件结合的产品或是大型软件系统等,由于行业、国家、地区、公司等不同,情况各有不同。而研究者并不希望被试者的反馈信息过于天马行空,这时就需要一个隐形的框架将用户反馈约束或引导为同一个方向的内容。所以,研究者设计了如图1-24所示的反馈窗口,将调研反馈的方向控制为按摩椅操控器的可用性,而非按摩椅本身。
图1-24 问题反馈
在数据整理阶段,研究者对3个步骤进行了区别处理。无论是第一次接触产品的新用户,还是使用经验丰富的资深用户,我们都能通过第1步得到他们对产品的总体印象;第2步有利于发现产品设计与用户实际需求之间的差别。总体来说,前两步能够通过程序自动计算得到定量的结果,而第3步需研究者采用传统的定性分析方法来归纳总结。
上述案例采用了单个用户独立参与的方式。而近年来,随着网络互动的普及,人们更乐于在虚拟社交圈中发表自己的意见。因此,研究者也将这种方式引入了自我陈述的反馈问卷中。如图1-25所示的某外国网站的反馈表中还增加了互动部分,既能让被试者在互动中完成问卷,又有助于研究者研究总结出具有共性的问题。
图1-25 互动式案例
4.精妙的问题设计让研究者事半功倍
自我陈述法中对问题的设计至关重要,这不仅决定了被试者能否按既定的流程完成调研,也影响到反馈内容的质量和真实性。“循循善诱”“逐级深入”“因势利导”是设计问题时必不可少的原则。
首先,我们要明确几个问题:对于一个已经发布的产品,用户为什么会想在反馈表中描述自己的真实感受?难道只有到了怒不可遏的时候才会来反馈?这种发怒用户的数据如果流入公共平台怎么办?这几个问题困扰了研究者多年,他们一方面希望能在更大的平台上邀请用户积极参与调研,另一方面又不希望只收集到“愤怒”的数据,更不想让这些数据影响潜在用户。这样的尴尬处境让不少研究者在收集用户反馈时变得小心翼翼、如履薄冰,然而其间也不乏尝试创新且卓有成效的案例。以下就以若干商业App为例,谈谈那些能够提升研究效果的妙招。
从“后排”走到“C位”
国内互联网应用在经历了诸多市场验证之后日趋成熟,尤其是在收集用户反馈这件事上变化明显。探索如何将用户的真实使用感受快速收集回来,并根据第一手数据对产品进行迅速迭代,已成为研究者的一项重要工作内容。体验为王迅速成为业界的共识及行业发展的驱动力之一。现在只要随意打开一款App,就能发现开发者对待用户的“吐槽”早已不是过去那种“犹抱琵琶半遮面”的态度了。曾经在App里四处“躲藏”的“请您反馈”,现如今已大大方方地走到了显眼的位置,其界面设计也更为用心。图1-26就是一个在App内弹出的内测邀请函的实例。
图1-26 App中的用户反馈招募函
满意、不满意,数据一样重要
产品设计的目的是解决问题,而用户研究是明确问题的手段,为了对产品有一个全面、客观的认识,仅仅收集负面反馈是不够的,研究者也要了解产品的优势。一份好的自我陈述反馈表,要能同时收集正反两方面的反馈,尽量去除研究者的主观引导。
Shopify是知名的零售商业管理软件,虽然其业务功能复杂,但使用起来简单、流畅,很多并不具备信息化知识的小零售商也能快速上手,在短期内熟练使用该软件。它的用户反馈表也跟产品本身一样,简单且友好,所有的反馈数据都被收集到了Shopify后台,其中的好评还会被自然地引入更公开的平台。这种方法既收集到了较为全面的用户反馈,又做到了口碑宣传。图1-27描述了Shopify评价反馈的整个流程。
图1-27 Shopify精心设计的评价反馈流程
结构化是把双刃剑
用户自我陈述的过程并不复杂,困难往往发生在后期的梳理归纳阶段。将非结构化文本转变为可分析的结构化数据,这个过程会耗费较多的精力。有时候研究者为了让研究结果便于分析,更倾向于在反馈表中增加结构化的框架或分类。合适的框架可以引导被试者的思路并规范反馈的内容,以减少无关信息。但这如同一把双刃剑,带来便利的同时削弱了调研的效果。过度复杂的结构需要被试者时刻保持理性,能够对自述的内容进行正确的分类。这样做尽管降低了分析成本,但也为被试者带来了不小的困难。图1-28就是一个高度结构化的反馈表,被试者在描述情况之前要充分理解这些分类的含义,否则反馈也将无从进行。
图1-28 高度结构化的反馈表
自我陈述法的最大优点莫过于维持了被试者的自然使用状态,这是其他方法所没有的。首先,自我陈述法的形式决定了被试者可以在相对较长的时间内自主使用产品;其次,反馈大多在被试者主动、积极的前提下产生。因此,自我陈述法收集到的反馈比较实用且可信,极少产生其他方法中被试者由于紧张或某些个人原因而传达回错误信息的情况。
然而,这种自然使用的状态也给分析带来了困难,尤其是对于过于简单的自我陈述法。首先,反馈时间难以控制,有的用户在使用初期并未产生问题,尤其是对一些高级、复杂、不常用的功能,这不利于收集有针对性的信息。很多互联网产品将这种方法改进为长期的用户反馈,收集的内容也更加粗放、不设限制,用户既可以填写功能设计方面的意见,也可以反映产品质量、稳定性等技术问题。因此,时间和内容的不确定性决定了过于简单的自我陈述法难以进行系统的调研。当然,如果在反馈及实验过程中对研究的内容和时间加以控制,那么也完全能够获得全面、深入、有针对性的反馈信息。
另外,自我陈述法对实验过程基本不做控制,这也带来了一定的风险和困难。无论是观察法还是单人访谈法,研究者都随时记录被试者的一举一动。而自我陈述法则对被试者有较高的要求,既要能在使用中发现问题,也要能主动利用研究者提供的问卷反馈问题。并且,自我陈述法收集到的反馈意见往往夹杂着一定数量的不相干信息。在上文提到的 Shopify 软件案例中,不少用户的反馈都与产品使用体验毫无关联,甚至有很多用户误认为这是个软件质量测试问卷,而研究者直到汇总问卷结果时才发现这些问题。但是,如果能够对被试者进行筛选,使其完全了解该方法的流程及反馈表的用意,则可以避免这一问题。
自我陈述法天然就是一种与其他多种数据采集方法结合使用的综合性方法。自我陈述法收集的反馈结果能为后期有针对性的访谈确定目标、选择被试者。另外,观察法、问卷法、出声思维、用户使用行为统计等都可以与自我陈述法配合使用。总之,每种方法都具有各自的优劣势,需要研究者根据实际情况相互结合、灵活运用。