1.4 智能网联汽车人机交互技术

人类在感知信息的途径中，通过视觉、触觉、嗅觉、听觉和味觉获取外界信息的比例分别是 83％，1.5％，3.5％，11％和 1％。驾驶员在驾驶状态下，至少需要一只手操作方向盘，眼睛注视前方道路，才能保持汽车正常驾驶。然而，汽车周围信息复杂并且时刻在改变，汽车内部信息过多或复杂会让驾驶人分心，导致驾驶人的注意力长时间离开路面，从而造成危险。如何通过有效且安全的人机交互方式与汽车进行交互，更加直接地获得环境信息的反馈，使驾驶人的注意力不被分散，保障驾驶的安全，是目前智能网联汽车急需解决的重要问题。随着信息技术、车联网等技术的发展，多模态（视觉、听觉、嗅觉、触觉、味觉、躯体感觉等）融合的人机交互已成为智能网联汽车HMI技术发展的必然趋势。

1.4.1 视觉＋触觉交互技术

随着车载信息系统显示设备与技术的发展，触摸屏已成为智能网联汽车的标配，物理按键逐渐被触摸屏的虚拟按键所取代，触控屏已成为驾驶员与汽车视／触觉交互的接口。信息系统成为人机交互的中枢，汇聚了各种信息源，集成了驾驶辅助、娱乐、商务等功能，不仅涵盖了广播、音乐、导航等传统功能，还增加了车辆控制、车联网、车辆状态信息、路况信息、定速巡航、蓝牙免提、空调及音响设置等功能，通过触摸屏为驾驶者提供了全新的视／触觉交互体验（图 1.32）。

1.4.2 语音交互技术

随着语音识别和人工智能技术的发展，智能语音交互技术在智能汽车领域迅速崛起，车载智能语音助手成为驾驶员的专职“管家”。驾驶员通过车载语音识别控制系统，可实现对车载多媒体、导航、电话、空调和天窗的控制。语音交互技术通过解放驾驶员的双手，减少驾驶员视线的分散，提高了驾驶的安全性。语音交互技术通过语音控制并反馈，不仅减少了驾驶员对车载信息系统的学习时间，而且提高了驾驶员对汽车各项功能的操控效率；语音交互技术增强了汽车与驾驶员之间的互动，使智能网联汽车变得更加人性化，让驾驶员获得精神享受。当语音交互技术与大数据、人工智能技术相结合，语音交互将从单一模态向多模态（多种交互方式相结合）转变、从被动控制向主动交互（车载信息系统主动与人交互）转变。车载信息系统会基于动态汽车驾驶场景及用户数据为驾驶员提供个性化服务、信息推送，并使用情感化的语言与驾驶员互动，通过无处不在的贴心语音提醒让愉悦的体验直达驾驶员内心（图 1.33）。

1.4.3 手势交互技术

手势交互是一种自然且直观的交互方式，是继语音交互之后另一项受到追捧的交互技术，手势识别控制系统可以让用户在驾驶时使用简单的手势或动作控制各项车载功能，与语音控制相比，准确率更高，也更方便。手势控制最大的优势就是可以简化操作，让驾驶员可以更加快捷地实现各种操作。目前许多汽车厂商或科技公司已经在开发车载手势识别控制系统，但是各系统在不同手势功能定义上存在较大差异。手势动作本身一定要符合人的本能反应，考虑不同市场的文化和习惯对不同手势的定义，基本常用功能的通用手势定义以及创新手势定义的易学性将会是手势定义研究的趋势。手势控制面临的另一个问题是反馈，在真实世界里，当我们去摸一个物体时，会习惯物体给出力的反馈，如无反馈则需要通过视觉或听觉来确认，这会占用更多驾驶主任务注意和认知资源。针对这一问题，已经有科技公司研发手势反馈触控技术。捷豹路虎投资的UltrahapatICs创业公司拥有一项名为“ULT003 Mid-air Touch”的手势控制技术（图 1.34）：在触控区域布置超声波发射设备，通过气压变化在某个特定位置汇聚几个声波高压点，生成一个“摸得着、看不见”的界面。只要手在一个有效范围内运动，设备就会追踪到手部位置变化，在合适的位置凭空“捏造”出一个虚拟的三维立体物件，也可以是一个“旋钮”或者“按键”。这项技术最有趣的一点在于，当你进行触控操作时，手可以感受到类似操控物理按钮的触觉反馈。

手势控制正在经历静态手势—动态手势—自然手势识别的发展，随着技术的不断进步和新技术的应用，自然的手势识别将不再局限于识别用户特定的手势或动作，而是对所有手、所有骨骼点进行追踪，以及对所有行为进行捕捉、识别，让手势控制完全成为一种纯自然的交互方式（图 1.35）。

1.4.4 增强现实技术

增强现实（Augmented Reality，AR）技术是在虚拟现实的基础上发展起来的新技术，将计算机渲染生成的虚拟场景与真实世界中的场景无缝融合，将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”，是一种全新的交互模式。 AR所具有的真实世界和虚拟的信息集成、实时交互性以及在三维尺度空间中增添定位虚拟物体等特点（图 1.36）。随着AR日趋成熟，应用产品逐渐扩大，比如AR在车载导航上的应用，传统的车载导航由于无法实时更新地图，在实际应用中体验并不是特别好，而手机导航则受限于智能手机尺寸、车内环境（光线）等因素，开车过程中使用手机导航则会产生潜在的安全风险（因分心导致的风险）等。车载AR导航技术的应用能够进一步降低导航功能的认知负荷，也能提升导航功能的准确性与便捷性。

车载AR显示技术，显示信息的正确展示关乎驾驶安全，这些信息不能遮挡住其他物体，并且必须显示足够久以便于驾驶员阅读理解，但是又不能过久。同时信息显示的量和位置也是需要重点考虑的因素，太多会困扰驾驶员，太少会信息不足。视线追踪技术通过检测追踪驾驶员视线注视点、注视时长等信息来选择最有效的显示方式，成为车载AR应用的关键技术。在检测视线追踪数据时，我们通常有两种方法：第一种方法是固定，用在驾驶员停下视线之时，通常是视线停留在一个有趣的地点时，因为驾驶员的注意力被吸引住了。第二种方法是扫视，为了确定凝视对象，眼睛将会扫视现场，从一个地方快速扫视到另一个地方，从同一场景下的不同部分采集多条信息，大脑将这些固定景象的信息拼凑在一起形成虚拟影像，从而为驾驶员或乘客提供更丰富的娱乐和视觉体验（图 1.37）。

1.4.5 智能可穿戴与脑机接口技术

（1）车载智能可穿戴技术

可穿戴设备指可以直接穿戴在驾驶员身上或整合到驾驶员衣服配件上的便携式设备，比如眼镜、手表、耳机、腰带、手环等。智能眼镜结合AR，可将终端信息进行整合，把用户需要了解的信息显示出来，让驾驶员看到物体背后的信息，但不会影响驾驶员的道路前方的视线（图 1.38）。智能手表、智能手环与汽车智能车载信息系统关联实现对车辆的控制，包括车辆停放位置导航、远程遥控热车或温度控制等。可穿戴设备还可以对驾驶员的生理状态进行实时监控，从而准确地识别驾驶员的各种生理状态信息，如疲劳和分心等，并对危险状态进行智能干预，可穿戴设备实时获取驾驶员生理数据后，通过车载主机进行安全分析，实现汽车驾驶控制权的切换或通过向驾驶员发出安全驾驶警告以确保驾驶安全。目前可穿戴设备的种类还在不断丰富中，可穿戴设备在汽车上的应用还有很大挖掘空间，未来可穿戴设备将为驾驶员带来更佳的驾驶体验（图 1.39）。

（2）车载脑机接口技术

脑机接口是一种将大脑与外部设备连接的通信系统，驾驶员不同驾驶意念会产生不同特征的脑电波信号，脑机接口技术通过对脑电波降噪、特征提取并将脑电波信号转换成控制外部设备的控制命令，以实现对外部仪器设备的控制。脑机接口技术与车载控制系统连接，可以实现通过意念对车辆的各项功能进行控制和交互，解放了驾驶员的双手，让驾驶员能够对车辆进行更加高效的控制，提高了驾驶安全性。同时，脑电波含有驾驶员的情绪状态和情感状态信息，脑机接口技术通过算法梳理驾驶员的脑电波数据，可以对驾驶员的情绪状态和情感状态实施监控，当发现驾驶员处于异常情绪状态或情绪低落时，给予多模态的刺激，对驾驶员的情绪或情感进行调节，当调节无效时则触发驾驶辅助系统进一步确保汽车安全驾驶（图 1.40）。目前，车载脑机接口类型分为穿戴式和嵌入式两种。穿戴式的脑机接口为一个简易的脑电帽，采集驾驶员特定脑区的脑电波，检测驾驶员意念、情绪、情感，由于穿戴式脑机接口采集到的脑电波比较微弱，特征识别的精度不够。嵌入式脑机接口能够弥补穿戴式脑机接口的缺点，将类脑芯片通过微创手术直接植入人的大脑里，更加准确地对脑电波进行采集和识别。在过去的 1 年里，脑机接口技术取得了重大突破，马斯克创办的Neuralink公司已成功将类脑芯片植入动物大脑，使植入式脑机接口在智能网联汽车上的应用又近了一步。