下载掌阅APP，畅读海量书库
立即打开
传感器的融合就是将多个传感器获取的数据、信息集中在一起综合分析，以便更加准确、可靠地描述外界环境，从而提高系统决策的正确性。
多传感器信息融合的优势在于：能够综合利用多种信息源的不同特点，多方位获得相关信息，从而提高整个系统的可靠性和精准度，如图1.15所示。未来传感器融合技术将显得更加重要，并且会成为一种趋势。多传感器信息的融合是无人驾驶安全出行的前提。
不同车载传感器的原理、功能各异，在不同的场景下发挥着各自的优势，其获取的信息各不相同，不能互相替代。例如，相比于摄像头，毫米波雷达的分辨率较差，难以识别具体的物体种类，但是其在恶劣的环境（如夜间、雨雪雾等）中仍然可以工作，并且可以得到距离信息。而摄像头虽然受环境影响较大，但是其分辨率高并且能获取丰富的图像信息，便于物体的识别。由此可见，摄像头和毫米波雷达之间有着很强的互补性，成功实现两者信息的融合，能有效增强系统的感知能力。
不同传感器有着不同的优缺点，见表1.10。
图1.15 传感器融合示意图
表1.10 不同传感器的优缺点
注：“-”指没有该能力，“+”指具备一般能力，“++”指具备优秀能力
从表1.10中可以看出，激光雷达在产品技术能力上具备优势。摄像头+毫米波在环境适应能力上能覆盖绝大部分场景，但基本无冗余，所以从这个角度上看，激光雷达并非要替换二者，而是与其他传感器融合，增加冗余来提高感知准确率。
只有基于多个传感器的融合才能满足自动驾驶所需的安全感知，对一些指标上有冗余，使采集的信息有一定重复，即使某个传感器出现问题也不会影响安全。
多级冗余可提高感知准确率，降低单系统故障带来的安全性风险。
目前成功的目标检测方法大多采用基于卷积神经网络的深度学习模型。在自动驾驶领域，需要对多传感器和多模态信息进行处理，以便更全面地了解车辆所处的现实环境。
这是一种融合三维激光雷达和彩色摄像头数据，进行多模态车辆检测的方法。它利用人工神经网络联合学习，融合基于独立卷积神经网络的车辆检测器，在每种模式下均能获得更精确的车辆检测。这一方法在目标检测数据的各个层级上均取得了相比单一模式更高的精度。
摄像头因实时精确度及经济性高而在自动驾驶中普遍使用，但是，摄像头的强光致盲性也是一个重要问题。当摄像头和激光雷达融合后，可以充分吸收激光雷达精度高、传播性好、方向性好、光束窄等优势，弥补摄像头单独使用中的很多缺点。
采用单目摄像头与毫米波雷达融合的目标跟踪方法，将目标定位在图像帧中，在其周围绘制一个包围框，然后使用经过训练的深度神经网络，利用包围框的尺寸生成目标位置。在融合阶段，摄像头定位的神经网络位置与目标的雷达回波位置相关联。应用一个长时间存储器模块，利用融合数据生成连续的目标轨迹。毫米波雷达+摄像头这一融合模型与摄像头参数、系统分布无关，在至少一个传感器有检测数据的情况下，能够以合理的精度跟踪目标。它在两个传感器都有检测数据的情况下具有较高的精度。
毫米波雷达具有体积小、质量轻、空间分辨率高等特点。与红外、激光等传感器相比，毫米波雷达穿透雾、烟、灰尘能力强，具有传输距离远、性能稳定等优点。毫米波雷达与摄像头进行融合，能够适应大雾、沙尘等特殊恶劣天气，以及更加复杂的特殊环境。
多传感器融合在硬件层面并不难实现，重点和难点都在算法上，拥有很高的技术壁垒，因此算法将占据价值链的主要部分。
自动驾驶常用的融合算法包括加权平均法、卡尔曼滤波法、神经网络。这三种方法具有直观性、容错性及普适性。
加权平均法融合数据信息可以通过获取各种传感器信号的平均值来实现。若某一个传感器的信号比其他传感器更可信，则为该传感器分配更高的权重，以增加其对融合信号的贡献。加权平均法是信号级融合最简单、最直观的一种算法，可以对传感器接收到的冗余信息进行加权平均。加权平均法可以对原始数据直接进行使用。
通过加权平均法，可以在图像识别中对模糊图像进行处理，使图像识别更加清晰与准确。加权平均法在交通标志牌的识别中十分重要，不仅可以提高安全性，而且可以增强鲁棒性。
卡尔曼滤波法是一种常用的自适应传感器融合算法，用于消除系统中的冗余，预测系统的状态。卡尔曼滤波法采用线性空间模型，系统的当前状态取决于先前的状态。
在预测阶段，估计值与观测值一同更新。如果有两个传感器分别发送数据，那么在利用第二个传感器的观测值来更新预测值前，可以将第一个传感器的读取值作为先验信息。卡尔曼滤波法在图像识别中是一种常见的融合算法，可以进行降噪，并增强鲁棒性。卡尔曼滤波法虽然是数据层面的融合，但是对于传感器的融合而言非常重要。
不同于卡尔曼滤波法，神经网络提供非线性传递函数和并行处理能力，可以帮助执行图像融合。神经网络由称为神经元的处理节点连接而成，建立神经网络数据融合模型，根据多传感器数据输入和输出之间的关系，分配神经元和互连权值。神经网络既有多层前馈型，也有递归型。
传统神经网络将图像一层一层映射，最后进行特征提取。目前，多用卷积神经网络进行融合。卷积神经网络可以看作特征提取与分类器的结合体，单从各个层的映射来看，类似于特征提取的过程，提取不同层次的特征。神经网络的容错性很强，能够用于复杂的非线性映射环境。神经网络强大的容错性及自学习、自组织、自适应能力等特性，可满足多传感器数据融合技术处理的要求。神经网络在数据模型中，主要根据当前系统所接受的样本相似性确定分类标准，这一过程表征为网络的权值分布。可以利用神经网络的信号处理能力和自动推理功能，实现多传感器数据融合。
未来，传感器融合会向以下几个方面发展：
①通过对算法的优化提高实时性；
②使传感器具有预判能力，提高在复杂环境下工作的准确性；
③避免各种算法之间产生干扰，增强鲁棒性。