下载掌阅APP，畅读海量书库
立即打开
项目负责人：李宏伟
项目成员：鲁素苗 陈珍 郭熠
指导老师：黄敬华
摘要： 脑科学一直以来都很神秘，却无不引起人们的强烈兴趣。本项目主要开发了一个控制情绪的小游戏，让观众在互动过程中更好地了解脑科学的相关知识，认识到大脑对于情绪与表情的控制作用，并通过游戏中的角色，将从大脑皮层提取的相关数据变化进行可视化。这一游戏也可以帮助人们认识情绪、学习如何控制情绪，并且是一种更具有趣味性和直观性的脑电可视化手段。
随着生活水平的提高，生命科学逐渐被人们所关注，其中又以脑科学最为重要和神秘，自然博得了更多关注。另外，人工智能渐渐成为整个社会热议的话题，而人工智能的终极目标不外乎创造出模拟人脑的机器，从这方面来说，脑科学不仅是生命科学的研究对象，更是整个科技领域、经济领域的重点关注对象。同时，社交网络兴起带来信息传播网络复杂化，每个人都可以成为信息的源头，随之而来的是信息爆炸和后真相时代。如何让人们更加理性地看待这一领域的研究现状和研究成果，是一个重要的科普命题。
我们希望通过这个项目帮助人们更好地了解脑科学中的一个细小的领域，提高人们对于脑电波的兴趣与认识。脑电波并不像科幻电影中所描述的无所不能。科幻电影中常常出现的通过脑电波进行记忆读取仍然是很遥远的想象。但是我们确实可以通过脑电波来做一些事情。一方面，脑电的采集方式很多情况下并非通过手术，绝大多数研究者使用的还是非侵入式的脑电采集设备，我们希望通过让人们亲自接触脑电采集设备了解脑科学研究的现状。另一方面，脑电分析领域的一个重要应用是脑机接口，但是脑机接口对于测试环境要求较高，因而我们在项目中采用对环境要求较低的情绪分类，以提高项目可行性和环境适应性。通过一个脑电游戏，我们向观众呈现从情绪到脑电到可视化的过程，以期提高人们对于情绪控制的兴趣。另外，我们在设计游戏的过程中忽略了很多专业名词，希望除了让观众了解到特定知识以外，更重要的是通过轻松的体验激发其科学兴趣。
前期项目组本来希望通过一个实体的模型向公众展示脑电波形，但是随着工作开展，我们意识到这样和多数展品存在同质化，同时将大脑展示出来会造成部分人群的不适。所以我们最终决定制作一个游戏来进行脑电知识的展示，并将相关元素卡通化。
5月和6月，主要通过文献研究确定实现的主要方向，通过研究设备的使用明确可行性。7月和8月，原计划通过实物模型的制作展示脑科学的相关内容，但经过尝试发现效果并不理想。后期我们希望通过重点关注游戏和界面交互而不是实物的交互来提高互动性及对于脑电波采集的干扰。9月到11月，进行游戏的开发与调试，主要是进行有关SDK的调整使功能实现。11月中旬，完成了游戏的编译和总结文档的撰写。
主要内容包括相关的背景知识研究、相关设备的使用方案，以及一个情绪游戏的开发与使用流程介绍。其中背景知识包括情绪本身、脑电的采集方案介绍，以及利用脑电分类情绪的相关研究成果。而设备的使用方案包括通过与官方API通信、获取设备的相关数据以及设备的状态信息，尤其是表情的变化以及设备采集到的各个频段的值。游戏的开发包括游戏的基本结构以及相关的使用流程。
情绪作为脑科学研究领域的一个重要部分，一直是热门领域。但是，非专业人士很少会接触相关的研究。随着社交网络的流行，网上充斥着各种关于心理学、成功学、情绪管理的内容，鱼龙混杂，人们很难确定这些说法的准确性与有效性。
我国自古就有“喜怒哀乐悲恐惊”七情的说法，但是这种分类过于主观，不便于研究的规范化。情绪在心理学中有个普遍认可的模型——效价/觉醒度模型， [1] 通过两个维度将所有情绪固定在二维坐标轴上。效价指的是情绪的正面和负面，而觉醒度是另一个维度，表示情绪的强烈程度。比如愤怒是觉醒度很高的情绪，而放松是觉醒度很低的一种情绪。
通过这两个维度可以将情绪的分析变成规范化的值分析，也便于情绪之间的比较以及研究者之间的比较。
脑电，具体地说是脑部采集到的电信号。一般的研究使用非侵入式的脑电采集设备，非侵入式是随着电信号放大技术的进步发展出来的。主要是因为脑电十分微弱，而且这一部分脑电被称作自发脑电，有10～150微伏。另外，与特定认知相关的脑电更为微弱，例如常被用作认知研究的事件——相关电位（Event-Related Potential）只有自发脑电1/3的。所以脑电的采集往往受到周围电子器械的影响，通常需要经过信号放大、滤波、去伪迹、特征提取等步骤之后才能进入正式的脑电分析。我们这次是通过设备采集自发脑电，进而分析脑电的整体趋势。
自发脑电通常可分为五个节律，虽然不同文献中的具体数值存在差异，但是大致可以分为：δ节律（0.5～4Hz）、θ节律（4～8Hz）、α节律（8～12Hz）、β节律（12～30Hz）和λ节律（大于30Hz）。 [2] 这些节律与相关活动的关系是很多认知科学的研究重点。
情绪与脑电关系的研究由来已久，一般的研究是通过图片诱发相应的情绪进而激发特定脑电特征，得出情绪与脑电的关系。这一工作中有著名的国际情绪图片系统（International Affective Picture System，IAPS）。研究者通过使用同一套公认的情绪图片规范各自的研究。大量的研究得出了脑电与相应情绪的关系，通过分析得出的脑电特征，这些特征包括时域特征、频域特征、时频特征、对称性特征以及高阶交叉特征等。因为本研究需要实时分析和处理，对于一些高阶的核模型分析的研究结果并不适用（计算机的运算能力有限），主要使用频域分析的相关研究成果。
Schmidt 等以音乐作为刺激材料分别诱发被试的开心、愉悦、悲伤和害怕等4种情绪。通过研究发现，听积极情绪的乐曲时，左前脑会产生较强的脑电活动，而当听消极情绪的乐曲时，右前脑则会产生较强的脑电活动，由此可见前脑与情绪有着很大的关联。具体来说，alpha频段与情绪有重要的关系，并且当消极情绪被诱发时，右后脑区会产生强烈的脑电活动。同时，积极情绪被发现与左前脑的脑部活动相关。
[3]
Li 等以图片为刺激材料并通过共同空间模式找出了每个被试的情绪的最佳频段，他们的分析结果显示，大多数被试的最佳频段都分布在gamma频段上，这反映了gamma 频段在情绪识别中的重要作用。
[4]
D.Nie等人以视频为刺激材料分别诱发被试的积极情绪和消极情绪，并提取了50 个不依赖被试的共同特征，通过将这些特征映射到脑区和频段上，发现这些共性特征主要分布在alpha 频段的右枕叶和顶叶部位、beta频段的中间区域、gamma频段的左额叶和右颞叶。
本项目采集脑电使用EMOTIV Inc.开发的Emoitv Epoc+ 头戴式脑电设备。该设备有可以采集14个电位的脑电信号（AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、AF4），通过蓝牙无线连接，支持Windows、OSX、Linux、Android、iOS等多种设备。可以用作认知相关研究以及BCI（脑机接口）相关的应用开发。采样频率最高可以达到256采样点每秒，因为使用电池供电，所以受到交流电信号的干扰比较小，采样滤波为0.2Hz～43Hz，采样分辨率达到了14 bits 1 LSB = 0.51 uV完全满足本项目的要求。并且使用蓝牙连接，一次充电使用时间在6小时左右，能够作为一个普通的展品使用。
API（Application Programming Interface）即应用程序接口，通过封装一定的程序保证安全性的同时，开放部分功能，使开发者可以增加自己的功能和应用。
图1 Emotiv API具体的运行工作流程
Emotiv API提供了多种功能的入口，包括表情、频谱能量、精神指令（Mental Commands）等。通过与自有指令相结合获取相应脑电信号并处理。本项目使用Emotiv社区版SDK开发包v3.5.1进行开发，运行环境为Windows，连接方式为蓝牙。
游戏使用Unity 引擎2017.2.0f3版本开发。Unity引擎是业界知名的游戏引擎，能够很好地帮助游戏开发者实现底层代码的隐藏，许多著名的游戏都是采用Unity引擎开发的。游戏资源中添加了DotNetEmotivSDK.dll，这个是作为Emotiv SDK C#版的编译文件添加的，用来实现相关的API功能接口。因为开发经验不足，游戏运行在不同分辨率的屏幕上效果可能会有出入，推荐的分辨率是1920×1080。游戏分为三个场景，分别是开始界面、游戏界面和结束界面，通过结束界面可以回到开始界面重新开始游戏，开始界面可以退出游戏。
第一步，使用者首先佩戴脑电波采集设备，打开游戏会自动连接。游戏开始界面点击开始按钮进入游戏，退出按钮退出游戏。点击开始按钮之后会显示姓名对话框，输入姓名进入游戏。
第二步，游戏界面如上文所述，包含三个部分——时间轴（剧本）、表情、情绪显示。其中时间轴通过电影胶片的形式显示时间，进度条对应的文字表示该时间段的情绪状态（或称作剧本），玩家必须在特定的时间保持特定的表情和情绪状态才能得分。同时，人脸表情区域显示人的表情，大脑区域通过色条显示不同的情绪的值。图2为编辑界面，正式游戏时不会出现四种情绪都为正的情况。不同的色条显示不同的情绪能让信息更加明显和易懂。
图2 游戏主界面示意（图示为开心阶段）
现在的版本并没有把表情和情绪分开，例如开心是同时开心的情绪和开心的表情。将来的版本其实可以通过让使用者情绪和表情截然不同来使人们明白脑电波与情绪的关系，如保持开心表情的同时内心很愤怒。当观众改变自己表情的同时，游戏界面的人脸也会改变表情模拟人的表情，这种即时反馈对于游戏玩家十分重要。但是情绪的变化并不会那么快，通过一段时间的累积，采集到相关的脑电波分析不同频带的关系可以初步判定一个用户的情绪坐标。这个坐标基于著名的效价/觉醒度模型，通过坐标可以判定用户的情绪。相关论文（如前文所述）已经证明alpha、gamma波段以及脑电波的对称性等因素与情绪的正负向、强弱有很明显的相关关系，通过相关的算法可以较为准确地区分情绪的坐标进而确定情绪。游戏中，通过确定情绪、表情与“剧本”的对应关系，我们可以判定一个玩家或者使用者在这一小段时间的得分。
另外有一个值得说明的问题是左方的人脸表情。人脸表情的变化是根据头前部采集到的脑电波形判断生成，只不过和情绪分类使用的相关数据和计算方式不同。但是由于让使用者仅仅通过自己的想象保持某种情绪状态的难度比较大，如果通过自己做出相应表情再看着这一表情帮助自己找到某种情绪状态。我们认为这种方式比仅仅显示情绪状态在交互上更加友好。
游戏结束的时候，通过累计玩家总得分确定玩家的分数区段，进而确定玩家的称号（见表1）。我们采用称号机制是因为称号机制更为直观，也比分数更有激励机制，因为分数是抽象的，分数的上限并不明确，而称号可以很容易形成比较，同时更加符合当今青少年的习惯。
表1 头衔机制
本项目主题选取十分科学，一方面，演员演技是当今社会的热点话题；另一方面，情绪控制在心理学和管理学上也有很多的研究。不仅是孩子，成年人也能通过这个游戏意识到情绪的可控制性。此外，本项目设计的表演小游戏，让玩家通过控制自己的表情和情绪来进行操作，交互过程较为新颖，能够提升人们的兴趣。游戏的交互方式采用了脑电信息的获取，这种生活中少见的交互方式能够帮助人们了解现有的技术条件，摒弃那些科幻电影或小说所反映的与现实相去甚远的脑电波认知，从而更理性地对待科技的发展。
一方面，对于观众来说，通过大脑想象来进行交互的设备在日常生活中很少见到，通过体验脑机接口的方式体会最新的研究成果可以提升观众对于脑科学甚至生命科学的兴趣。另一方面，生命科学领域的众多科学研究成果也可以通过类似的游戏方式展示出来，并不一定是确定的结论，也可以是让使用者自己探索的游戏。另外，本项目的情绪控制游戏对于情绪管理这个热门话题来说可能是一次很有意思的尝试，正处于悲伤情绪的使用者也许很难从悲伤中走出，但是当玩这个游戏的时候，也许可以帮助使用者练习如何走出悲伤，尝试控制自己的不同情绪。
另一方面，对于科普场馆来说，关于情绪控制等话题的展品展项似乎较少，但此类主题实际上和科学在生活中的应用息息相关，具有良好的应用前景。
[1] Kensinger，E.A.，Corkin，S.，“Two Routes to Emotional Memory：Distinct Neural Processes for Valence and Arousal，” Proceedings of the National Academy of Sciences of the United States of America ，2004，101（9）：3310-3315.
[2] Olejniczak，P.，“Neurophysiologic Basis of EEG，” Journal of Clinical Neurophysiology， Official Publication of the American Electroencephalographic Society，2006，23（3）：186-189.
[3] Sarlo，M，.Buodo，G.，Poli，S.，et al.，“Changes in EEG Alpha Power to Different Disgust Elicitors：the Specificity of Mutilations，” Neuroscience Letters ，2005，382（3）：291-296.
[4] M.Li，B.L.Lu，Emotion Alassification Based on Gamma-band EEG， Engineering in Medicine and Biology Society ，2009.EMBC 2009.Annual International Conference of the IEEE.IEEE，2009：1223-1226.