下载掌阅APP，畅读海量书库
立即打开
何班本 1 ，罗婵 2 ，文翊 1
1.东风汽车公司技术中心
2.国家汽车质量监督检验中心（襄阳）
【摘要】 首先介绍高级驾驶辅助系统人机交互范式，包含传统WIMP、人机多通道、虚实结合，引申出高级驾驶辅助系统人机交互任务，包含界面交互、信息交互以及控制权交互。然后依据状态机基本原理，提出高级驾驶辅助系统状态机工作逻辑及四种状态：OFF、Fault、Waiting、Active。最后阐述高级驾驶辅助系统状态机人机交互设计逻辑及案例，包含车辆控制权状态机交互设计（横向控制权交互、纵向控制权交互），人机界面设计（触觉、视觉、听觉、拟人化，以及人员状态监控）。
【关键词】 自动驾驶，人机交互，状态机
HMI Design of State Machine for ADAS
He Banben 1 , Luo Chan 2 , Wen Yi 1
1. Dongfeng Motor Corp . Technical Center
2. National Automobile Quality Supervision and Test Center ( Xiangyang )
Abstract: Firstly,introducing the HMI paradigm of ADAS,including traditional WIMP,human-machine multi-channel,virtual and real combination.Introducing the HMI tasks,including interface interaction,information interaction,and control interaction.Then,based on the basic principles of the state machine,putting forward the working logic of the state machine of ADAS and its four states:OFF,Fault,Waiting,and Active.Finally,the ADAS state machine human-computer interaction design is described,including vehicle control state machine interaction design(horizontal control interaction,vertical control interaction),HMI design(tactile,visual,auditory,anthropomorphic,and personnel status monitor).
Key words: autopilot,HMI,state machine
随着科技的进步、自动驾驶技术的快速发展，目前越来越多汽车配备了高级驾驶辅助系统（Advanced Driver Assistance System，ADAS）。ADAS与驾驶人之间存在持续而广泛的信息交互，ADAS依据需要及时提醒驾驶人接管车辆，驾驶人根据ADAS提供的信息进行相应的操作以保持车辆安全行驶，因此人机交互的设计对ADAS性能具有重要的影响。设计不佳的交互逻辑可能会增加驾驶人的负担从而使得驾驶人对系统产生不信任，造成ADAS的系统降级甚至完全丧失功能。目前国内外研究人员提出了很多关于人机交互理论研究。唐帮备 [1] 提出以用户为核心的设计理念，已经得到汽车企业的认可，各大主机厂成立用户体验部门，对车辆的用户体验进行综合评价。实现车与人、车、路、后台等智能信息交换共享，被列入中国汽车工业协会对智能网联汽车的发展规划 [2] 。
高级驾驶辅助系统是利用传感器，在汽车行驶过程中实时感应周围的环境，收集数据，感知融合并对感知数据进行决策分析，最后对车辆进行控制，辅助驾驶人在道路上进行安全驾驶。高级驾驶辅助系统是车辆智能系统的重要组成部分，也是未来自动驾驶的关键组成部分和铺垫。
作为智能驾驶汽车研究领域中的核心问题之一，高级驾驶辅助系统中的人车交互问题，解决的是人与车之间的信息如何以一种恰当的方式有效传达交互，以降低驾驶疲劳和风险的机制；解决的是人与车辆如何良好交流，避免风险的办法。目前高级驾驶辅助系统中的人机交互研究主要集中在两个方面，一是车内驾乘人员与车载系统输出信号之间的交互反馈，另一方面是各种摄像头及雷达将车辆内外信息采集后转化为人类可识别信号的机制过程，也就是心理认知模型-现实模型之间的区别。
人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。基于WIMP技术的图形用户界面，从本质上讲，是一种二维交互技术，不具有多维直接操作的能力。要从根本上改变这种不平衡的通信，人机交互技术的发展要从单通道交互向多通道交互以及从二维交互方式向三维及多维交互方式的转变，发展用户与计算机之间快速、低耗的多通道界面。在传统的人机系统中，人被认为是操作员，只是对机器进行操作，而无真正的交互活动。然而对于人车交互来说，用户是处在实体的三维或三维以上空间，可以利用多通道的交互范式更自然、舒适地达到人车有效交流的目的，面对新技术下智能化的复杂车内环境，二维交互方式较难适应车内驾驶人体验需求。
目前车载交互系统的人机交互范式主要分成三种类型：传统WIMP范式、自然人机多通道交互范式、虚实结合交互范式 [3] 。第一种传统WIMP交互范式主要指利用传统用户界面，如组合仪表及显示屏，提供单一顺序式的人机交互，这种交互方式逻辑性强、操作负担较轻，操作精准，但交互方式、带宽单一，交流效率较低，没有充分利用人在现实生活中的行为技能 [4] ；第二种人机多通道交互范式，是充分利用人身体的各种信息通道，如视觉、听觉、触觉等，结合人的各种自然输出信息方式，如语音、行为姿势、生物脑电、体温、力等各种方式进行多方位的人机交互，这种交互范式可以充分利用人身体的特点，在多通道下同时输入多重信息，交互更加立体，交互带宽更广，交互过程更为自然 [5] ；第三种虚实相结合的交互范式，是利用虚拟现实和增强现实技术塑造虚实结合的交互感知空间，充分利用人身体的各种感官通道和人的自然语言出现的一种交互范式，赋予其拟人化的情感 [6] 。这三种交互范式的优缺点对比见表1。
表1 三种交互范式对比
高级驾驶辅助系统强调在驾驶条件具备的情况下，由系统控制车辆行驶，并将驾驶信息提前传递给驾驶人，在需要驾驶人接管车辆的情况下，需要及时提示驾驶人接管并做出决策，同时对驾驶人的接管信息进行实时交互反馈。这决定信息传递需要具备的特性：提前性、有效性、准确性。目前车载智能系统一般采取多通道和虚实结合的方式与驾驶人进行人机交互。人机多通道交互方式是围绕人体生理感官通道，如视觉、听觉、触觉来展开交互，这能自然和谐地让用户所理解，并营造一种多方位立体环境场景感知。虚实结合交互方式，是构建虚拟交互主体，赋予其拟人化的情感，比如车载智能机器人，用户在与其交互时能感知到其拟人化情感的一面，全方位体验视觉、听觉、触觉等信息空间，让用户与虚实结合的空间主体进行交互。
智能汽车人机交互主要分为三层：交互界面、交互信息、交互控制 [7] 。交互界面是系统与驾驶人进行交互沟通的方式，主要包含平面界面，如组合仪表、触控屏幕，多维立体交互界面，如语音识别、触摸识别、手势识别、生物电识别、表情识别、凝视与头部姿势识别等 [8] 。交互信息是系统与驾驶人进行交互沟通的内容，包含车辆基本信息展示，提示信息、风险预警信息以及驾驶人对这些信息所对应反馈信息。交互控制则指驾驶人及车辆综合各方数据通道等信息输出的信息控制量。
智能汽车人机交互任务包含驾驶信息捕捉，驾驶信息信号输出、信息信号感知、信息交互控制。驾驶信息捕捉任务是通过各种信息捕捉传感器，包括道路环境传感器（雷达、摄像头等）和用户状态传感器（车内摄像头、体温计、压力传感器等），将融合的信息数据输入计算机，由自动驾驶车辆计算出在目前的驾驶状态（包含道路环境状态、车辆状态，以及驾驶人状态），识别风险信息及需要的控制信息。驾驶信息信号输出是将驾驶信息分解成视觉、听觉、触觉等多通道信号，通过显示屏、转向盘、喇叭、投射图案、环境灯光、振动设备等有效传递给用户；信息信号感知是将各种通道设备输入的信号传递给用户大脑，结合用户感知到的环境场景还原出驾驶信息，并在大脑和身体神经中做出驾驶判断；信息交互控制是指用户在接收到有效信息后，有针对性地做出一种对现有驾驶信息状态的反馈行为和驾驶操作，或者改变驾驶状态和车辆行驶状态，以在现有场景下脱离或者减少风险财产损失。
改善驾驶人对系统的信任度：驾驶人和系统较好地进行信息交互，能有效地改善驾驶人对系统的信任度。目前自动系统信任度策略的研究，主要集中在系统透明度与拟人化。系统透明度（Transparency）指的是自动系统的工作原理或逻辑被人类操作者所认知的程度，比如系统及时反馈车辆运行状态以及对没有满足操作者的期望给出相应解释等。围绕系统透明度与信任的研究可知，自动系统透明度的提升有利于人与自动系统的交流，进而有效增加信任并提升人与自动系统综合体的表现 [9] 。针对系统透明度，Lyons [10] 将自动系统对人的透明度进行了详细解析。拟人化（Anthropomorphism）即赋予非人主体以人的特性，尤其是感情与思维，让非人主体像人一样思考、感受和行为 [11] 。当系统被拟人化，以及拥有与人相似的行为或思考方式，都能帮助驾驶人对系统运作理解得更充分，提高驾驶人对系统的信任，同时还有助于减缓系统出错后的信任减少。通过虚拟结合交互范式，塑造虚拟交互主体，赋予其拟人化的情感，已被广泛研究。比如，谢传伟 [12] 基于用户研究将拟人化的多个形式合理结合，使用情感化的设计方法，使自动系统成为有生命、有情感、会思考、体贴可靠的“伙伴”，营造安全、可靠、积极的体验，更好地获得用户的理解与信任。
状态机，是有限状态机（Finite State Machine，FMS）的简称，因状态都是离散或可枚举而得名。FSM是具有基本内部记忆的抽象机器模型，主要由有限个离散状态和这些状态间的相关行为组成的数学模型组成。FMS由状态集、事件集、行为及迁移四大要素组成。有限状态机的工作原理如图1所示，发生事件（event）后，根据当前状态（cur_state），决定执行的动作（action），并设置下一个状态号（nxt_state）。
图1 状态机基本原理
有限状态机技术为智能车辆自动驾驶行为决策提供了有力的决策依据。状态机理论广泛运用在汽车自动驾驶的驾驶模式的控制，比如，冯关明等 [13] 基于有限状态机理论和模糊逻辑控制理论设计了具有主动安全性的汽车自适应巡航控制（Adaptive Cruise Control，ACC）系统，使车辆在加速行驶、车辆跟踪和制动减速等行驶工况下保持跟踪性和适应性；熊璐等 [14] 基于分层决策思想和有限状态机理论设计了差动转向无人车的整车控制策略，从而有效地实现了无人车各运动模式间的切换；冀杰等 [15] 对智能车辆的典型自动驾驶行为进行分析和分解，并基于有限状态机理论设计面向结构化道路环境的智能车辆自动驾驶行为决策系统。
当前，高级驾驶辅助系统所有功能的状态机都有4种状态：OFF、Fault、Waiting、Active。OFF，为功能关闭；Fault，为出现故障；Waiting，至少有一个激活条件不满足，功能在等待状态；Active，激活条件都满足时，功能激活。如图2所示。
图2 高级驾驶辅助系统状态机4大状态
因为功能的不同，会存在一些其他中间状态的名词，但设计思路是一致。比如ACC状态Inhibit，至少一个激活条件未满足，且Inhibit必须要先到Waiting，才能到Active。车道保持辅助（Lane Keeping Assist，LKA）只在纠偏区间内触发，可用时为Authorized，在纠偏时为Active，条件不满足的时候为Selected。
高级驾驶辅助系统（ADAS）人机交互的重要任务，就是简单、明晰地将ADAS的当前工作状态（状态机）告知驾驶人，同时与驾驶人进行无障碍交互。ADAS与驾驶人人机交互分为车辆控制权交互和人机界面交互。
高级驾驶辅助系统（ADAS）车辆控制权交互设计主要集中在控制权的切换逻辑设计，这直接关系到人车安全。行业里一般根据切换的发起者、强制性以及计划性等方面对控制权的切换进行分类。对于控制权切换，根据切换的发起者和强制性，可分为3类 [16] ：①人发起的可选择切换，即人和系统都具备驾驶能力，由人主动关闭或者打开自动系统所产生的切换；②人发起的强制性切换，即当人发现系统无法满足驾驶任务，或系统不能达到驾驶人驾驶意图，而主动接管控制；③系统发起的强制性切换，即当系统发现自身无法胜任驾驶任务而要求驾驶人接管控制，或者系统发现正在驾驶的驾驶人无法胜任驾驶任务而主动发起的切换。SAE J3016标准在对L3级自动驾驶及以下驾驶人和系统的角色描述中指出，驾驶人应当在收到请求后的一定时间内接管控制，系统只有在发出请求并且等人安全接管之后才能失效。
控制权切换交互包含切换和接管。切换通常是指系统将全部控制权移交给人的全过程，而接管则通常是指人获得车辆控制权同时系统释放控制权这一时刻的动作 [17] 。吴超仲等 [18] 从驾驶人的认知、驾驶负荷、反应力等方面剖析了人机共驾中人因的特性及其对控制权切换安全性的影响，总结了控制权切换的试验研究方法和人机交互形式，指出了控制权切换安全性研究存在的问题和未来发展方向。
结合ADAS车辆控制特点，可将车辆控制权交互分为纵向控制权交互和横向控制权交互。控制权的主体框架为
1）驾驶人开启系统功能主开关：如果所有工作条件满足，系统处于等待状态或激活状态；如果有任一工作条件不满足（比如驾驶人安全带未系、车门未关好等），系统处于禁用状态。
2）系统控制车辆时：如果驾驶人主动接管，系统应及时退出，由驾驶人控制车辆。
3）驾驶人关闭系统功能主开关：系统应缓慢退出（比如ACC缓慢退出时，车速应缓慢下降），避免突然行车状态变化，而导致增加驾驶人驾驶负担。
具体到纵向控制权交互和横向控制权交互，下面分别介绍具体的设计框架。
纵向控制权交互（以典型的ACC功能为例）：
主开关开启：任一工作条件不满足，系统处于Inhibit状态；所有工作条件都满足，但功能开关未开启，系统处于Waiting状态；所有工作条件满足，功能开关开启，系统处于Active状态。Active状态下，驾驶人踩加速踏板接管（Override行为），系统处于Suspended状态。关闭主开关：功能缓慢退出，进入Waiting Ramp状态；其中Break Only状态可认为是一种降级模式，属于过渡状态（比如雷达传感器探测功能受限），此状态下不能加速，只能减速。如图3所示。
图3 纵向控制权交互状态机框架（ACC）
下面分析下驾驶人接管的车辆控制权交互逻辑：Active状态下，驾驶人主动踩加速踏板加速时，ACC进入Override模式：当ACC进行加速，请求正转矩时，驾驶人轮端转矩请求大于ACC轮端请求转矩；当ACC进行减速，请求负转矩时，驾驶人踩下的加速踏板开度超过4%时，ACC进入Override状态。
ACC进入override之后，动力总成不再响应ACC的转矩请求，此时ACC进入Suspended状态。Override模式下，松开加速踏板后，恢复ACC控制，进入Active状态。
横向控制权交互（以典型的LKA功能为例）：
主开关打开，任一工作条件不满足，系统处于Selected状态（Inhibit）；主开关打开，工作条件都满足，但不在纠偏区域，系统处于Authorized（Waiting）状态；正在纠偏中，系统处于Active状态，其中，Collision Risk状态仅适用紧急车道保持功能（ELK）。如图4所示。
图4 横向控制权交互状态机框架（LKA）
下面分析驾驶人接管的车辆控制权交互逻辑：LKA工作时，通过控制转向盘转角来进行纠偏，转角反馈到转向盘上也会产生力矩，驾驶人施加的叠加力矩需要让驾驶人感觉接管平顺。当驾驶人控制方向盘力矩大于一定值时，LKA进入Override驾驶人接管状态。
交互界面或人机界面（Human-Machine Interface，HMI）是指汽车驾驶人与系统交流中，驾驶人可见或可感知的部分。Norman [19] 提出了针对自动化系统的HMI设计标准，设计应假设存在错误、应不断提供反馈、应以有效的方式与用户持续进行交互、应该考虑到最坏的情况。从早期的机械仪表，到可读性高的电气式仪表，HMI设计终究以驾驶人的安全操作为核心，设计师需要运用人因工程学等可用的知识，使人车交互可用并实用 [20] 。目前，智能汽车交互界面已从二维平面界面交互，发展成多维立体交互界面（人机多通道），以及拟人化（虚实结合），包括仪表、物理按键识别、多媒体显示屏、语音识别、触摸识别、手势识别、生物电识别、表情识别、凝视与头部姿势识别等。
在高级驾驶辅助系统人机界面设计中，需要综合运用人机多通道交互范式和虚实结合交互范式。具体包括：开关按键设计（触觉）、系统监测驾驶人状态设计、显示设计（视觉）、声音提示设计（听觉），以及拟人化设计。
开关按键设计（触觉设计），按键的尺寸、力度、行程决定了按键的灵敏度和驾驶人的疲劳程度。按键的位置排序一般按人机操作习惯的原则排位：重要性排位（重要性越大，越靠近手边）、频次排位（使用频次越高，越靠近手边舒适区）、功能排位（功能相似的放在一起）、使用先后顺序来排位。比如将ACC的功能按键安排在转向盘快拨键上，能增强驾驶人的操作方便性。将不常用的车道保持辅助设置成软开关（放入中控屏车辆设置菜单里面），这样可以有效释放其他物理按键供更重要的功能使用，如图5所示。
图5 开关按键设计示例
系统监测驾驶人状态设计，是指系统能识别比如转向盘脱手、面部疲劳表情、体温等信息。转向盘脱手识别，是通过检测驾驶人的手是否离开转向盘而进行提醒警示，从而保障行车安全。实现的方法有多种，如电容感应方式、图像识别方式、压力感应方式等。疲劳监测，是基于驾驶人生理图像反应，利用摄像头，依据驾驶人的面部特征、眼部信号、头部运动性等推断驾驶人的疲劳状态，并进行报警提示和采取相应措施的装置，如图6所示。
图6 车辆人员状态信息监测
显示设计（视觉）、声音提示设计（听觉）是目前车辆上普遍采用的交互方式。显示设计是通过仪表、MP5、HUD（抬头显示技术）等将车辆状态信息及时反馈给驾驶人。声音提示，是通过声音来刺激驾驶人，并告知驾驶人预警信息。在拟人化的设计方向上，可虚构一个汽车智能机器人，负责与人进行情景交互。人可以根据自身的不同喜好，设定不同风格的机器人交互界面。比如根据车主要求，订制化生成3D虚拟行车管家（比如车主本人），将虚拟的形象和真人的特征结果，生成出更“像”的角色，如图7所示。
图7 车辆拟人化设计实例
高级驾驶辅助系统人机交互是自动驾驶人机交互的重要组成部分，系统工作的状态机逻辑必须要符合人类认知及操作习惯。将系统状态机设计与人机交互设计统筹在一起考虑，使系统更容易被人理解，能有效改善驾驶人对系统的信任度。未来自动驾驶人机交互是人类在自动驾驶道路上面临的巨大挑战。智能座舱专业已开始建立，并逐步被主机厂单独列为一个功能组或科室，随着技术进步及相关专业人员的深入研究，自动驾驶的人机交互会逐步提高。
[1]唐帮备，郭钢，王凯，等.联合眼动和脑电的汽车工业设计用户体验评选[J].计算机集成制造系统，2015，21（6）：1449-1459.
[2]中国汽车工程学会.节能与新能源汽车技术路线图[M].北京：机械工业出版社，2016.
[3]刘玉磊，马艳阳，徐伯初，等.车载智能预警系统中的人机交互[J].包装工程.2020，41（18）：78-89.
[4]张凤军，戴国忠，彭晓兰.虚拟现实的人机交互综述[J].中国科学：信息科学，2016，46（12）：1711-1736.
[5]杨明浩，陶建华，李昊，等.面向自然交互的多通道人机对话系统[J].计算机科学，2014，41（10）：12-18.
[6]CHAKRABORTY A,KONAR A.Applications and Future Directions of Emotional Intelligence[M].Ber lin:Springer,2009.
[7]高强，许勇.车载触摸控制的人机交互系统[J].仪表技术与传感器，2012（2）：72-74.
[8]谭征宇，戴宁一，张瑞佛，等.智能网联汽车人机交互研究现状及展望[J].计算机集成制造系统，2020，v.26;No.270（10）：17-34.
[9]HOFF K A, BASHIR M.Trust in automation:integrating empirical evidence on factors that influence trust[J].Human Factors, 2015, 57(3):407-434.
[10]LYONS J B.Being transparent about transparency：A model for human-robot interaction[M].Berlin:Springer,2013.
[11]WAYTZ A, HEAFNER J, EPLEY N.The mind in the machine:Anthropomorphism increases trust in an autonomous vehicle[J].Journal of Experimental Social Psy chology, 2014, 52(3):113-117.
[12]谢传伟.情感化设计在用户体验中的运用[J].设计，2014（2）：21-22.
[13]冯关明，胡大宏，吴壮文.基于FSM理论的模糊自适应控制汽车巡航系统仿真与设计[J].机械科学与技术，2012，31（3）：446-451.
[14]熊璐，黄少帅，王龙祥，等.基于有限状态机的差动转向无人车整车控制策略设计[J].制造业自动化，2015，19:146-152.
[15]冀杰，黄岩军，李云伍，等.基于有限状态机的车辆自动驾驶行为决策分析[J].汽车技术，2018，519（12）：5-11.
[16]HAPPEE Z, CABRALL R, KYRIAKIDIS C, et al.Human factors of transitions in automated driving:A general framework and literature survey[J].Transportation research,2016,43F(nov.):183-198.
[17]MERAT N, WAARD D D.Human factors implications of vehicle automation:Current understanding and future directions[J].Transportation Research Part F:Traffic Psychology and Behaviour,2014,27:193-195.
[18]吴超仲，吴浩然，吕能超.人机共驾智能汽车的控制权切换与安全性综述[J].交通运输工程学报，2018，v.18;No.96（06）：135-145.
[19]NORMAN D A.The′Problem′with Automation:Inappropriate Feedback and Interaction,not′Over-Automation′[J].Philosophical Transactions of The Royal Society B Biological Sciences,1990,327(1241):585-593.
[20]Ergonomics of human-system interaction:ISO 9241-210:2019[S].Part 210:Human-centred design for interactive systems:33.