3.2 环境感知技术与传感器

3.2.1 视觉传感器

1.摄像头原理

（1）基本原理

摄像头（Camera）是一种视频输入设备，主要分为数字摄像头和模拟摄像头两种。模拟摄像头可以直接通过视频接口（通常为S端子或AV端子）连接显示设备完成摄像功能，其特点是模拟影像清晰而连贯，不受分辨率影响，模拟摄像头以中低价位黑白摄像头为主。而数字摄像头可以直接捕捉影像并转换为数字信号存储在计算机中，其信号传输接口由早期的串口、并口发展到如今的USB和IEEE 1394相线接口。车载摄像头主要为数字摄像头。

摄像头的基本工作原理是，被摄物体所反射的光线通过镜头，将生成的光学图像投射到传感器上，传感器将光学图像转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过数字信号处理（Digital Signal Processing, DSP）芯片加工处理后还原为色彩空间信息，最后被输出到相应的显示或存储设备形成人们看到的图像。

（2）色彩空间

“色彩空间”一词源于西方的“Color Space”，又称作“色域”。在色彩学中，人们建立了多种色彩模型，色彩模型是描述使用一组值（通常使用三个、四个值或者颜色成分）表示颜色方法的抽象数学模型。例如，三原色光模式（RGB）和印刷四分色模式（CMYK）都是色彩模型。以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。人们经常用到的色彩空间主要有RGB、CMYK、Lab等 ^[3] 。

RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，是目前最常用的一种色彩空间，可表示大部分颜色。但在科学研究中一般不采用RGB色彩空间，因为它的细节难以进行数字化的调整。它将色调、亮度、饱和度三个量放在一起表示，很难分开。它是最通用的面向硬件的色彩模型，该模型用于彩色监视器和一大类彩色视频摄像。

CMY是工业印刷采用的色彩空间。它与RGB对应，RGB来源于物体发光，而CMY是依据反射光得到的，由于三原色得不到纯黑色，CMYK颜色空间则是打印时加上黑色。

HSV和HSI两个色彩空间都是为了更好地数字化处理颜色而提出来的。H是色调，S是饱和度，V和I是强度。

Lab色彩空间用于计算机色调调整和彩色校正，它独立于设备的色彩模型实现。这一方法用来把设备映射到模型，体现模型本身的彩色分布质量变化。

（3）图像传感器

图像传感器是摄像头最为关键、最为核心的部件，它是一种半导体芯片，其表面包含有几十万到几百万的光电二极管，光电二极管受到光照射时会产生电荷。摄像头根据图像传感器可以分为电荷耦合器件（Charge Couple Device, CCD）和互补金属氧化物半导体（Complementary Metal Oxide Semiconductor, CMOS）两种。

CCD传感器使用一种高感光度的半导体材料，能将光线转变成电荷，再通过模数转换器芯片转换成电信号。CCD传感器由许多独立的感光单位组成，通常以百万像素为单位。当CCD表面受到光照时，每个感光单位都会将电荷反映在组件上，所有的感光单位产生的信号加在一起，就构成了一幅完整的图像。CCD传感器以日本厂商为主导，全球市场上有90%被日本厂商垄断，如索尼、松下、夏普等。CCD传感器灵敏度高、噪声小、信噪比大，但成本高、复杂度高、功耗高。

CMOS主要是利用硅和锗做成的半导体，使CMOS传感器上共存着带N（-）和P（+）级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解码成影像。CMOS传感器主要以美国、韩国和中国台湾为主导，主要生产厂家是美国的OmniVision、OnSemi、Micron，中国台湾的锐像、原相、泰视，韩国的三星、现代等。CMOS传感器集成度高、功耗低、成本低，但噪声较大、灵敏度低、对光源要求高。

因为CCD传感器成本高、良品率低，而且速度慢、高感差，故不能适应高速拍摄的需要。因此，随着CMOS工艺的进步，CMOS传感器已经渐渐取代了CCD传感器。

2.车载摄像头的组成

车载摄像头与其他摄像头类似，主要由镜头（Lens）、红外滤光片（IR Filter）、传感器（Sensor）、图像处理芯片（ISP）、数字处理芯片（DSP）、DVP等部分组成，如图3-27所示。

（1）镜头（Lens）

镜头对成像质量有重要的影响，它的作用相当于人眼中的晶状体，利用透镜的折射原理，使被摄物反射的光线透过镜头在聚焦平面上形成清晰的像，然后通过感光材料CMOS或CCD记录影像，并通过电路转换为电信号。镜头一般由几片透镜组成透镜结构，按材质可分为塑胶透镜（主要是指树脂镜片）或玻璃透镜，玻璃镜片比树脂镜片成本更高。树脂镜片的透光率和感光性等光学指标比镀膜镜片差。通常摄像头采用的镜头结构有1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，但相对成像效果会更出色，成像更均匀细致，畸变更小。镜头产业有比较高的技术门槛，国外主要集中在日本、韩国，国内主要是在台湾，业内比较知名的有富士精机、柯尼卡美能达、大力光、Enplas等。

（2）红外滤光片（IR Filter）

红外滤光片的作用主要是过滤进入镜头的光线中的红外光，因为红外光是人眼不可见的，所以需要将光线中的红外光滤掉，以使图像更加接近人眼看到的效果。

（3）传感器（Sensor）

传感器是摄像头的核心，负责将通过镜头的光信号转换为电信号，再经过内部A-D转换为数字信号。每个像素点只能感受红色（R）、绿色（G）、蓝色（B）中的一种，因此每个像素点中存放的数据是单色光，通常所说的30万像素或者130万像素表示的就是有30万或130万个感光点，每个感光点只能感应一种光，这些最原始的感光数据被称为RAW Data。目前常用的传感器有两种，一种是CCD传感器，一种是CMOS传感器。

（4）图像处理芯片（ISP）

Raw Data要经过图像处理芯片（Image Sensor Processor, ISP）的处理才能还原出三原色，也就是说，如果一个像素点感应为R（红色）值，那么ISP会根据该感光点周围的G（绿色）、B（蓝色）值，通过插值和算法处理等，计算出该R点的G、B值，这样该点的RGB就被还原了。在还原色彩空间的同时，ISP还负责对数据进行算法优化处理，包括AE（自动曝光）、AF（自动对焦）、AWB（自动白平衡）、去除图像噪声、镜头阴影校正（Lens Shading Correction, LSC）、坏点校正（Bad Pixel Correction, BPC）等。经过处理后把Raw Data保存起来，传给videocodec或CV等。通过ISP可以得到更好的图像效果，因此在智能手机特别是在高端手机上对ISP的要求很高，已经开始集成双通道甚至三通道的ISP。在智能手机中，一般来说ISP是集成在中央处理器里面，但是随着需求的变化也出现了独立的ISP，其优点是配置更灵活，同时能够弥补及配合AP芯片内ISP功能的不足。

（5）数字处理芯片（DSP）

数字处理芯片（DSP）是摄像头模组的重要组成部分，它的作用是将感光芯片获得的数据及时快速地传递并刷新感光芯片，因此DSP芯片的性能直接影响画面品质，如色彩饱和度、清晰度、流畅度等。如果传感器没有集成DSP，也可以通过DVP的方式传输到基带芯片中（可以认为是外挂DSP）。DSP通常由图像信号处理器（Image Signal Processor, ISP）和JPEG图像编码器（JPEG encoder）组成。在一些图像处理应用比较复杂的设备中，DSP也可设计为执行图像处理应用中的专业图形处理器芯片。

3.车道线检测识别

车道线检测是车辆偏离预警、自主泊车等系统的核心技术。其中，车辆偏离预警系统可以有效减少因车辆偏离正常行驶路线而产生的交通事故；自主泊车可以提高出行效率，改善出行体验，因此车道线检测技术的发展具有较多现实意义。

车道线检测技术的研究从20世纪90年代起才开始发展，且绝大多数技术都是在通过摄像机获取的路面图片进行检测，但由于车道线的纹理特征比较简单，不像行人、人脸或者指纹的特征那么丰富，因此不易分离与提取，这些特点均为车道线的检测带来了一定的挑战性。到目前为止，关于检测车道线的技术主要分为三类：基于特征、基于模板、基于区域。

基于特征的检测技术主要是通过结合道路底层特征、车道边缘和车道线颜色等定位图像中的车道线。这种技术能够正确检测的车道线必须是颜色变换范围较小或者拥有明显的车道线边缘，否则将会导致检测失败。

基于模板的检测技术只使用几个参数来表示车道线，即假设车道线的形状可以用直线或者曲线来表示，该模板检测技术就是在检测过程中估计出这些模板参数，完成车道线的检测。相对于基于特征的检测技术而言，基于模板的检测技术可以有效地处理噪声或者数据缺失的情况。一般用于估计模板参数的技术方法有最大似然方法、霍夫变换、卡方拟合等。然而，大多数车道线模型只专注于特定形状的道路。

基于区域的检测技术是根据车道线大致的位置，在一个小区域内进行检测。此方法可以有效地去除路面图片中大部分干扰信息，但此方法无法处理路面中部出现车辆、障碍物或者车道线出现在路面中间的情况。

目前车道线检测技术以基于模板的方法为主，并结合一些基于特征、区域的方法，主要的步骤是图像预处理、车道线检测、车道线跟踪。

车道线检测目前使用最广泛的方法是基于模板的霍夫变换 ^[5] 。在数字图像领域中，霍夫变换是一种重要的形状物体提取技术，尤其对于直线、椭圆等具有良好的提取效果。该变换利用变换空间中的投票原则，得到特定形状下的最佳图像的相关参数值。霍夫变换的中心思想：将一定形状物体从一种空间转换到另一种空间，从某一空间中特定的形状特性转变为另一空间内另一种更为方便计算的特性，然后利用投票原则，检测出任意形状的物体的相关参数值。

在对车道线检测之前，需要对采集到的图像进行预处理。图像预处理的作用是得到边缘图像。在数字图像领域，边缘指的是图像中灰度值或颜色值发生突变的区域，是图像中显著不连续的部分。常见的边缘检测算法有 ^[5] ：利用差分算子、Reborts检测算子、Laplace检测算子、高斯型的Laplace算子、Prewitt检测算子、Sobel检测算子、Krisch检测算子及Canny检测算子等。其中较经典的Reborts检测算子是利用边缘差分法进行边缘检测，它对水平和竖直方向的边缘具有良好的检测效果，但是对于有一定倾斜角度的边缘则不具有良好的检测效果，会存在大量的漏检。Canny检测算子是在边缘检测中首先利用其他检测算子得到边缘，然后根据一定的判定准则，判定边缘的置信值，最后检测出精确边缘位置所在。该算法抗噪效果较好，在复杂图像中可以减少重复边缘的出现率。在图像预处理过程中，也会使用到图像增强算法来得到更加清晰明显的边缘图像。图像增强算法按照某种特定需求突出图像中的一部分信息，同时又能去除或是减弱无用信息。增强算法有两大类：频域增强与空间增强。频域增强是将数字图像作为二维离散信号，利用频域滤波得到频域增强后的图像，是一种间接增强算法。空间增强则是针对原有数字图像某一像素点或是某一临域的增强，是对图像直接的增强方法。其中针对像素点的增强方法包括直方图均衡化、灰度变换等，针对临域的增强方法包括平滑滤波与锐化滤波等。

车道线检测范例如图3-28所示。

4.路面检测识别

在缺少车道线信息的非结构化道路或是车道线破损严重的道路场景下，为了保证车辆仍然能够沿当前道路行驶，需要对路面可行驶区域、路面边界进行检测。可行驶路面的检测，是要在复杂的室外条件下规避各种未知形状和类型的障碍物，然后准确有效地检测出属于路面的区域。

路面检测主要利用路面的纹理、颜色信息。相比于车道线检测，可行驶路面检测技术研究较少，且方法各异。利用路面纹理、颜色信息构建的路面特征模型种类很多，利用对称性、消失点、感兴趣区域等路面结构特征的方法也有很多。

第一种方案路面区域检测包含两种模块，一个是目标边缘提取模块，一个是路面区域提取模块，此外预设了一些不同的道路模板。在目标边缘提取模块中，与车道线检测类似，先在预处理过程中对输入图像进行逆透视变换，然后进行边界检测，将边界信息与预设的几个不同的道路模板进行匹配，取置信度最高的三个模板。用输入图像的像素点对三个模板进行投票，按投票结果得到预测的路面区域边界，在边界内对像素颜色信息进行分析，最终运用消失点模型结合路面区域边界得到路面可行驶区域。第二种方案是使用Gabor滤波器，它可以描述图像中所有像素的纹理方向并计算出对应的置信度。使用所有像素的纹理方向对当前路面的消失点位置进行投票，通过投票数量获得当前路面的消失点。之后按照消失点的位置和离散点的纹理方向，连接形成数条直线对图像进行分割，使用纹理方向和颜色信息按照置信度模型合并分割后的区域，在分割和合并区域的同时按照纹理方向更新消失点，最终使用合并后的区域作为路面区域。第三种方案使用光照不变图像，通过熵分析的方法提取输入图像像素特征，由此得到受光照影响很小的图像特征，称为光照不变图像，对光照不变图像做分布直方图分析，然后利用相似度分析判断路面成分。第四种方案使用一簇水平线分割图像，对水平线上像素的颜色信息进行分析并判断路面范围。

路面检测范例如图3-29～图3-32所示。

5.基于机器学习的障碍物检测识别

随着人们使用交通工具的频次不断增长，交通事故频频发生，对人身安全和财产安全造成了极大损害，目前迫切需要解决交通事故的新方法。另外，汽车的智能化是未来的发展趋势，智能车辆在道路上行驶离不开对车辆状态及行驶环境的感知，车辆感知技术是智能车技术发展中的关键问题，其感知能力的进步将促进车辆智能化技术的飞跃。

视觉感知容易受到环境的影响，在能见度较低时效果不理想，其测距精度也不如雷达和激光扫描仪，但它成本较低，能够提供最丰富的信息，具有识别对象类别和形态的巨大潜力。作为外部环境感知技术手段，视觉感知是智能驾驶环境感知领域不可或缺的重要组成部分。目前，在智能驾驶领域中，常采用单目、双目或夜视相机，从不同角度全方位拍摄车外环境，再通过图像识别技术识别车辆、行人和交通标志等。随着机器视觉技术的迅速发展，视觉传感器在环境感知领域的潜力也愈发彰显，在未来必将成为智能驾驶技术发展的重要助推力。

在传统图像处理算法中，对障碍物的检测就是用车载相机获取行驶中的汽车所处的周围环境的图像，利用图像处理算法得到含有障碍物和背景特征的数据信息，通过模式识别算法实时并且准确地判断该车四周是否有障碍物。因此，车辆检测算法主要包括特征提取算法和模式识别算法。

智能驾驶中视觉感知需要识别的障碍物主要有车辆、行人、交通标志、交通信号灯等。其中，车辆和行人在外观上有很大的可变性，在形状、尺寸和颜色上各有不同，并且车辆和行人在图像中的显示也依赖于它所处的位置，容易被复杂的外部环境所影响，如光照、视角的变换、外物的遮挡等都会给识别增加难度，因此单独使用光学传感器可靠地检测车辆和行人还是一个很大的挑战。另外，由于在车辆行驶过程中环境变化速度较快，因此车载系统比其他应用系统需要更高的处理速度。但是基于机器学习的车辆检测与多数对象检测一样，具有计算量大、检测缓慢等问题，使得它目前还不能成为一个实用程序。如何提高检测算法的速度，实现实时的高可靠性检测是目前研究的一个难点。为了提高检测算法的运行速度，有时会在特征提取算法之前增加划定感兴趣区域的步骤。例如，在车辆检测时，将车底的阴影特征作为假设车辆图像，得到感兴趣区域，也有人先基于相机透视变换理论的先验知识选出粗略的感兴趣区域，在该区域进行物体轮廓对称性分析，再将具有对称性的区域作为感兴趣区域进行特征提取。在特征提取算法前引入感兴趣区域，可以缩小需要提取特征的图像范围，缩短算法运行时间。

目前最常用的图像特征有SIFT特征、HOG特征、LBP特征、Haar-like特征等 ^[11] 。其中，SIFT即尺度不变特征变换，由David Lowe在1999年提出，于2004年加以完善，SIFT主要提取对旋转、尺度和亮度变化具有稳定性的兴趣点，由于其优秀的鲁棒性和匹配的准确性，SIFT特征是应用最广泛的图像特征之一；Dalal N和Triggs B在2005年提出了HOG特征，该特征对物体边界轮廓特征有较好的描述能力，最早被用于行人检测并取得了当时最好的检测效果，此外HOG特征也能用于对车辆等轮廓特征较明显的目标进行检测；LBP（局部二值模式）是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点，它首先由T. Ojala、M. Pietikäinen和D. Harwood在1994年提出，用于图像局部纹理特征的提取，目前被用于纹理分类和人脸分析等；Haar-like特征最早由Papageorgiou等应用于人脸表示，而后Viola和Jones在此基础上进一步扩展了Haar-like特征的类型和形式，它可以描述边缘特征、线性特征、中心特征和对角线特征，组合成特征模板，被广泛应用于人脸识别等领域。需要注意的是，传统图像特征的种类非常丰富，各自有不同的应用领域，并且仍然在不断发展，如对SIFT特征改进补充得到的SURF、ORB特征，由HOG特征发展来的DPM特征等。在对车辆、行人的检测中，HOG特征更具优势，应用更加广泛。

从图像中提取出的特征，将通过机器学习进行模式识别。机器学习中模式识别的方法是分类器，比较常用的分类器算法有SVM、Adaboost、随机森林、GDBT等 ^[12] 。其基本原理是通过输入带标签的训练样本特征，使分类器按照算法设计调整参数，实现对训练样本的拟合，在该基础上将测试样本的拟合值作为预测值完成分类。以常用的SVM（支持向量机）为例，其主要思想是将多维特征向量映射到高维空间中，寻找能够分开正负两类样本并且具有最大分类间隔的最优分类超平面，因此SVM分类器能够较好地兼顾训练误差和测试误差的最小化，避免过度拟合和局部极致的问题，被认为是效果最好的现成可用的分类算法之一。下文以HOG+SVM为例，详细介绍对车辆的检测过程。

方向梯度直方图（Histograms of Oriented Gradients, HOG）特征是基于局部区域的特征描述符，通过计算图像局部区域的梯度信息来表征物体的边缘轮廓特征，因为物体的梯度信息主要存在于该物体的边缘部分。这种特征与尺度不变特征变换（SIFT）算法很类似，不过HOG的不同之处在于该描述符建立在已经进行区域划分的图像上的计算，划分原则是用密集网格在整个图像上形成大小统一的小区域，这些小区域无间隔地连接在一起，称之为单元（Cell），同时为了降低光照等带来干扰，几个单元可以组成相互间部分重叠的块（Block），块内进行归一化。通过这种算法，最后得到的是一个鲁棒的特征集，能够应对较差的光照和杂乱的背景。

HOG特征由于具有对光照、纹理、尺寸不敏感的优点被广泛应用于目标检测。它借助对边缘梯度方向特征的提取，采用了密集的网格划分，可以很好地描述目标的形状轮廓，同时具有较好的鲁棒性，使用简单可靠的分类算法就能实现对目标较为快速和准确的识别，因而在车辆检测中也被大量使用，目前已成为摄像头实时目标检测的主流方法之一。

HOG特征描述子的重要思想：在一副图像中，目标物体呈现出来的边缘轮廓特征可以用梯度方向的分布来描述。具体的做法就是先计算所有像素点的梯度，然后将图像分成大小统一的连通区域，即单元（Cell），单元是该算法的最小结构体，单元的大小直接影响了块的大小以及检测窗口的滑动步长。之后使用该细胞单元内的每一个像素点对接下来需要构建的方向直方图进行加权投票，投票的权值可以取梯度大小。此外为了进一步提高鲁棒性，可以取一个比单元更大的区域范围——块，把各个直方图在这个较大范围内的密度计算出来，根据该密度对每个单元做归一化。将归一化后的直方图作为特征，把所有的特征统计后形成该图像的特征向量，该特征向量包含有检测目标的信息，可以作为学习算法的输入。

计算出单元内像素梯度大小和方向后，形成方向梯度直方图的过程示意图如图3-33所示，通常直接对直方图的每一列值按序排列后得到特征向量。

像素、单元（Cell）和块（Block）的相对关系及块重叠机制的示意图如图3-34所示。

对车辆提取HOG特征后，将特征用不同长度线段表示的示意图如图3-35所示。从图中可以看出，HOG特征可以较好地描述目标的轮廓信息。

支持向量机（Support Vector Machine，SVM）是在统计学习理论的基础上发展起来的机器学习算法，通过将输入向量映射到一个高维的特征空间，并在该空间中构造最优分类面，实现两类或多类的分类问题。车辆检测的假设验证本质上是二分类问题，即通过对从图像中提取出的特征进行分类，将对象分为车辆和背景两种类别。支持向量机由于它具有的良好分类能力，被认为是效果最好的现成可用的分类算法之一，目前已经广泛应用于文本分类、手写识别、图像分类、生物信息学等领域中。

如果用一个线性函数（如二维空间中的直线、三维空间中的平面以及更高维数空间中的超平面）可以将两类样本分开，则称这些样本是线性可分的。反之，如果找不到一个线性函数能够将两类样本分开，则称这些样本是非线性可分的。当样本数据线性可分时，SVM的目标就是寻找最优分割超平面，即根据训练样本确定最大分类间隔的分割超平面，当样本数据非线性可分时，需要将实际样本非线性变换到高维的特征空间，在新的特征空间中构造线性判别函数来实现分类。

在使用HOG特征+SVM分类器进行车辆识别时，首先需要准备大量的正负样本，如图3-36所示。之后对所有样本进行HOG特征的提取，将得到的特征向量和相应正负标签输入SVM分类器中进行训练，训练完成后SVM分类器会形成正负样本间的分类平面，此时分类器就具备了区分车辆目标与非车辆目标特征向量的能力。

在对图像进行车辆识别时，还需要设计不同大小的滑动检测窗口，对窗口内图像提取HOG特征，使用训练好的SVM分类器对窗口内容进行预测，将预测为车辆的窗口进行亮显，以作为该车辆的标识框，当不同大小的检测窗口遍历所有感兴趣区域后，即完成了对图像的车辆识别。为了改善显示效果，还需要对标识框进行去重、优化操作。车辆检测结果如图3-37所示。

基于传统方法的目标识别与检测也有明显的缺陷，一方面手工设计的图像特征对目标的描述能力有限，识别准确率一般；另一方面，传统图像特征提取过程运算量较大，滑动窗口的检测方式效率很低，在实时性要求高的场景下难以满足需求，如自动驾驶中的视觉感知等；此外，传统图像特征往往针对特定检测目标的特点来进行选择和设计，当需要识别多种目标时（如同时识别人、车），单一特征的识别率有限，同时分类器也将更加复杂，使检测速度进一步下降，而如果同时使用多种特征，特征提取过程的耗时将会增加，目标检测将不具备实时性。

对交通标志的识别除了上述方法外，也可以使用较为简单的模板匹配法，因为交通标志有比较固定的特征。

6.基于深度学习的视觉感知技术

（1）深度神经网络概述

传统图像处理方法进行的目标检测需要设计特征并选择合适的分类器，但是这种方法运算量较大，而且识别目标种类有限，如SVM分类器只能进行正负样本的分类，如果要同时识别车辆和行人两种目标，必须使用两个分类器，这样增加了算法运算量，难以满足算法实时性。另外，手工设计的传统图像特征在HOG特征和DPM特征之后发展相对停滞，一直不能在准确率上取得进一步的突破，直到卷积神经网络的提出。

2012年有学者首次在目标识别领域应用深度卷积神经网络，这一具有突破意义的实践将ImageNet数据集中分类准确率纪录提高了大约10%。他们将卷积神经网络进一步加深加宽，以实现更复杂的目标识别，此外开创性地应用了ReLU激活函数、最大值池化方法，并设计了Dropout训练方法、LRN层使参数传递更加迅速有效，这些方法的应用使对更深更宽的网络的训练得以实现，证明了深度学习的潜力和优势。

在神经网络中，每个单元的结构如图3-38所示，其对应的公式为

其中，该单元也可以称为Logistic回归模型。当将多个单元组合起来并具有分层结构时，就形成了神经网络模型。

图3-39展示了一个具有一个隐含层的神经网络。

其对应的公式为

比较类似的，可以扩展到有2、3、4、5、…个隐含层，每层所含的神经元个数也可以扩展。

神经网络的训练方法与Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则，又称为反向传播。

卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在网络的一个卷积层中，通常包含若干个特征平面（feature map），每个特征平面由一些矩形排列的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也称为池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。卷积神经网络由三部分构成：第一部分是输入层，第二部分由 n 个卷积层和池化层的组合组成，第三部分由一个全连接的多层感知机分类器构成。卷积神经网络推断过程如图3-40所示。

为了降低多层网络的参数数目，卷积神经网络采用了两种方法，第一种方法是局部感知法。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想，也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接收信息的，即这些神经元只响应某些特定区域的刺激。全连接和局部连接神经网络如图3-41所示。

第二种方法是权值共享。权值共享是指对于同一次卷积操作，不同位置的神经元共享同一组参数，其思想是如果把卷积操作看成是提取特征的方式，那么该方式与位置无关。即图像的一部分的统计特性与其他部分是一样的。这也意味着网络在这一部分学习的特征也能用在另一部分上，因此对于该图像上的所有位置都能使用同样的学习特征。图3-42所示为一个3×3的卷积核对5×5的图像进行卷积后的结果，该过程中每个卷积结果都来源于同一组卷积参数。

上面所述的只是一次卷积过程，显然这样的特征提取是不充分的，在卷积神经网络中可以添加多个卷积核，如32个卷积核，可以学习32种特征。在有多个卷积核时，最大池化过程如图3-43所示。

由于在一个图像区域有用的特征极有可能在另一个区域同样适用，为了描述大的图像，需要降低输出维度对不同位置的特征进行聚合统计，如可以计算图像一个区域上的某个特定特征的平均值（或最大值）。这些概要的统计特征不仅具有相比提取到的特征低得多的维度，同时还会提高结果的鲁棒性，避免过拟合。这种聚合的操作称为池化（pooling），有时也称为平均池化或者最大池化（取决于计算池化的方法）。

相比于传统图像处理方法，卷积神经网络能够识别的特征更为丰富、准确率更高并且能简单地实现多种目标的同时识别，在被提出后得到了广泛关注并不断地迅速发展。

（2）经典深度神经网络简介

1）R-CNN、Fast R-CNN和Faster R-CNN。由于卷积神经网络（CNN）只能实现对输入目标的分类，在对整张图像进行目标检测时，仍然要使用传统的滑动检测窗口，使得检测速度非常缓慢。于2013年提出的Region CNN（R-CNN）就可以解决这个问题，利用Selective Search的方法来预先生成可能的候选窗口，以此来代替传统目标检测的滑动窗口法。Selective Search是使用一种过分割方法，将图像分割成小区域，通过比较小区域的相似性，对相似性高的区域进行合并，以此获得大量不同层次的区域，并假定这些区域是可能存在目标的区域集合。这些区域集合被归一化成同样的大小后输入CNN中提取特征。将得到的特征向量输入SVM分类器中进行预测，此外还设计了对框的大小和位置进行调整的回归网络。R-CNN的结构如图3-44所示。

但是通过Selective Search得到的区域有数千个，仍然不能有效减少算法的运算量。2015年，SPP层的方法提供了解决思路，SPP层一般用于全连接层前，由于全连接层要求输入的维数相同，SPP层能够将不同大小的区域提取出的特征归一化到同一维度。引入SPP方法避免了对区域缩放引入的扭曲，也省去了缩放操作，缩短了检测时间。同年，有学者在SPP方法之上提出了Fast R-CNN，Fast R-CNN不再将数千个区域全部输入CNN提取特征，取而代之的是将原图像完整地输入卷积网络，再按照卷积的定位对应特点将候选区域映射到CNN输出的卷积特征图中，将映射后的特征图区域输入SPP层，预测结果输出也不再采用SVM分类器，而是将SPP层与两个全连接层相连，一个实现分类，一个用来对分类框大小和位置进行调整，从而使运算量、运行时间、运行所需内存都大幅减少。Fast R-CNN的结构如图3-45所示。

Fast R-CNN省去了将数千个候选区域全部通过卷积网络的操作，由传统图像处理方法Selective Search实现的生成数千个候选区域成为最耗时的步骤。紧接着出现的Faster R-CNN改变了这一点。Faster R-CNN提出了Region Proposal Networks方法，该方法对卷积层输出的特征图用一组不同宽高比例、不同大小的窗口进行滑动遍历，将这些窗口作为候选区域进行分类和检测框大小、位置的调整。将Region Proposal Networks的输出结果作为候选区域输入Fast R-CNN中，由此来代替Selective Search。在Faster R-CNN中，Region Proposal Networks与Fast R-CNN共享卷积网络提取的特征，在Region Proposal Networks之后连接的就是SPP层。图3-46所示为Faster R-CNN的结构。

2）YOLO和SSD。在Faster R-CNN之后，又出现了运行速度更快的YOLO ^[16] 。YOLO的主要思想是将整张图像分成许多网格，如果有目标的中心位于某个网格中，那么该网格就用来对该目标分类，在输出层调整回归目标的类别和检测框的位置。YOLO最大的优点就是运行速度已经完全满足检测的实时性需求。YOLO之后又出现了SSD ^[15] ，SSD很好地均衡了较快的检测速度和很高的准确率，实现了目标检测算法性能的突破。SSD对多种目标的识别效果如图3-47所示。

3）DeepLab、Refine Net和PSPNet。随着卷积神经网络广泛应用于目标的识别和检测，计算机视觉的另一个任务——语义分割也开始使用深度学习的尝试，于2014年提出的全卷积神经网络（FCN）是第一个使用深度卷积神经网络的方法来实现像素级分割的方案，达到了当时最高的分割准确率。为了实现输出分割图像，需要网络输出二维结果，FCN放弃了卷积神经网络的全连接层，将其全部用卷积层替换，实现每一层的输出均为二维的特征图。将卷积神经网络输出的特征图向上插值到输入图片尺寸就能分割结果。

在FCN之后，用于语义分割的卷积神经网络不断发展。2014年，谷歌的研究人员提出了DeepLab，DeepLab使用了卷积神经网络加条件随机场（CRF）的结构，并提出了空洞卷积方法。空洞卷积能够在不改变每个卷积层上神经元感受野的情况下，获得更大更密集的特征图。条件随机场是一种统计方法，用概率模型实现目标边界处更精细的分割效果。为了进一步改进DeepLab，使CRF可以被端到端地训练，之后也有研究将CRF分成几个步骤后近似地用RNN网络实现。2016年，有人提出了DeconvNet，该方法是与前向传递过程相反的逆过程，引入了反卷积和反池化层，使特征图经过镜像过程后还原到原图大小并实现分割效果。2016年，谷歌的研究人员提出了DeepLab V2，在V1的基础上提出了ASPP结构，再不同尺度上池化原始特征图，再将各个尺度的结果相融合以实现更好的分割效果。

2016年，深度残差网络的诞生大大提升了深度网络中梯度传递的有效性，构建了深度超过百层的神经网络，并在图像识别任务中取得了最好的成绩。语义分割任务也引入了这种结构。2016年，研究人员提出了RefineNet，它包含链式残差网络结构、多尺度融合复杂网络结构。在2016年提出的PSPNet使用了带空洞卷积的残差网络，同样采用了不同尺度的卷积过程，之后将各尺度结果相融合，并在训练时增加了一个loss，以使训练更加有效。2017年提出的大卷积核法从另一个角度分析了语义分割任务的难点，其提出者认为图像分割问题中包括分类与定位两个任务，其中分类任务需要结果对物体位置变换具有不变性，而这一点和定位任务相矛盾，并提出扩大感受野面积可以增加位置敏感性，从而解决两者矛盾的方案，在此基础上提出了大卷积核的方案，为了减少大卷积核带来的高计算量，使用 N *1和1* N 卷积来近似 N * N 卷积的效果。2017年提出的DeepLab V3将V2中的ASPP结构进一步优化，并引入了串联的多尺度空洞卷积，同时使用了Batch Normalization方法，进一步提高了分割准确率，是当时性能最好的图像语义分割方法。DeepLab V3的图像语义分割效果如图3-48所示。

4）RNN和LSTM。循环神经网络（Recurrent Neural Network, RNN）和CNN不同，它能处理序列问题。常见的序列有一段连续的语音、一段连续的手写文字和一条句子等。这些序列长短不一，又比较难拆分成一个个独立的样本来训练。RNN假设样本是基于序列的。例如，给定一个从索引0到 T 的序列，对于该序列中任意索引号 t ，其对应的输入都是样本 x 中的第 t 个元素 x （ t ）。模型在序列索引号 t 位置的隐藏状态 h （ t ）是由 x （ t ）和在 t -1位置的隐藏状态 h （ t -1）共同决定的，而模型在 t 时刻的输出 o （ t ）是由 h （ t ）通过非线性转换得到的。

RNN典型结构如图3-49所示。图3-49a是RNN模型没有按时间展开的图，如果按时间序列展开，则为图3-49b。图3-49描述了在序列索引号 t 附近的RNN模型。其中：

① x （ t ）代表在序列索引号 t 时训练样本的输入。同样的， x （ t -1）和 x （ t +1）代表在序列索引号 t -1和 t +1时训练样本的输入。

② h （ t ）代表在序列索引号 t 时模型的隐藏状态。 h （ t ）由 x （ t ）和 h （ t -1）共同决定。

③ o （ t ）代表在序列索引号 t 时模型的输出。 o （ t ）只由模型当前的隐藏状态 h （ t ）决定。

④ L （ t ）代表在序列索引号 t 时模型的损失函数，模型整体的损失函数是所有的 L （ t ）相加和。

⑤ y （ t ）代表在序列索引号 t 时训练样本序列的真实输出。

⑥ U 、 W 、 V 三个矩阵是RNN模型的线性关系参数，它们在整个RNN网络中是共享的。也正因为是共享的，才体现了RNN模型的循环思想。

长短时记忆（Long Short Term Memory, LSTM）网络是RNN的一种特殊类型，可以学习长期依赖信息 ^[19] 。LSTM通过刻意的设计来避免长期的依赖问题。

所有RNN都具有一种重复神经网络模块的链式的形式。在标准的RNN中，该重复模块只有一个非常简单的结构，如图3-50所示。

LSTM同样是这样的结构（图3-51），但是重复模块的结构更加复杂。不同于单一神经网络层，整体上除了 h 在随时间流动外，细胞状态 c 也在随时间流动。细胞状态 c 就代表着长期记忆，而状态 h 代表了短期记忆。

从图3-51中可以看出，在每个序列索引位置 t 时刻向前传播时，除了和RNN一样的隐藏状态 ht 外，还多了另一个隐藏状态，如图3-52中上面的长横线。一般将该隐藏状态称为细胞状态（Cell State），记为 C _t 。

细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。LSTM有通过精心设计的称为“门”的结构来去除或者增加信息到细胞状态的能力。LSTM在每个序列索引位置 t 的门一般包括遗忘门、输入门和输出门三种。

遗忘门（Forget Gate）顾名思义，是控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态。遗忘门子结构如图3-53所示。

图3-53中， h _{t -1} 表示历史信息， x _t 表示当前流入细胞中新的信息。

输入门（Input Gate）负责处理当前序列位置的输入，确定什么样的新信息被存放在细胞状态中。它包含两部分：第一，sigmoid层称“输入门层”，决定什么值将要更新；第二，tan h 层创建一个新的候选值向量 ，将被加入细胞状态中。输入门子结构如图3-54所示。

在语言模型的例子中，可以增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。因此，在更新细胞状态时，主要做的两件事就是决定哪些历史信息应该流入当前细胞中（遗忘门控制），哪些新的信息应该流入细胞中（输入门控制）。

在获得了输入门和遗忘门系数之后就可以更新当前的细胞状态，将 C _{t -1} 更新为 C _t ，如图3-55所示。

输出门，在得到了新的隐藏细胞状态 C _t 后，即可开始输出结果。输出门子结构如图3-56所示。

从图3-56中可以看出，隐藏状态 h _t 的更新由两部分组成，输出门是由历史信息 h _{t -1} 和新的信息 x _t 决定的。

RNN、LSTM因为综合考虑了动态目标连续时序信息，对目标连续状态检测具有优越的性能，常用于目标跟踪。而近些年，对于目标跟踪也提出了一些优秀的网络模型，以Siamese孪生网络结构为代表的家族系列，主要有SiamRPN ^[20] 、SiamRPN++ ^[21] 、SiamMask ^[22] 。

5）SiamRPN、SiamRPN++和SiamMask。许多基于深度学习的跟踪器在多个跟踪基准上已经取得了优越的性能。但是大多数性能优越的跟踪器很难有实时速度，孪生候选区域生成网络（Siamese Region Proposal Network，SiamRPN）能够利用大尺度的图像对离线端到端训练。具体来讲，该结构包含用于特征提取的孪生子网络（Siamese Subnetwork）和候选区域生成网络（Region Proposal Network），其中候选区域生成网络包含分类和回归两条支路。图3-57所示为SiamRPN的网络结构。

在跟踪阶段，SiamRPN被构造成单样本检测任务（One-shot Detection Task），通过预先计算孪生子网络中的模板支路，也就是第一帧，并且将它构造成一个检测支路中区域提取网络里面的一个卷积层，用于在线跟踪。得益于这些改良，传统的多尺度测试和在线微调可以被舍弃，这样做也大大提高了速度。图3-58所示为SiamRPN中的跟踪过程框架。

SiamRPN++在SiamRPN的基础上进行了改进优化，其中通过改变样本中正样本的分布情况，使得网络学习到的特征分布更广，对应到图中就是响应的范围变得更大，颜色也更加多样化，如图3-59所示。

SiamRPN++使用了深层网络ResNet-50，并且把ResNet中最后两个block的stride去掉了，同时增加了空洞卷积（Dilated Convolution），一是为了增加感受野，二是为了能利用上预训练参数。SiamRPN++的网络框架如图3-60所示。

图3-61所示为SiamMask的网络框架，同样是基于孪生子网络，但是和SiamRPN不同的是，这里的 ^★ d是depth-wise的交叉相关操作，是对逐通道进行相关性计算，因此得到的响应保持了通道数不变，该响应称为RoW（Response of candidate Window），而后在RoW的基础上分出了三个分支，分别进行分割、回归和分类。然而，由图3-61可以看到，每个RoW对应生成的mask是一个1*1*（63*63）的向量，将其展平得到的mask图像是非常粗糙的，而且尺寸也小于原图。因此，还需一个上采样和调整的过程，如图3-62所示。

7.视觉传感器应用系统

在自动驾驶领域的环境感知技术中，视觉传感器扮演着重要的角色，在已经得到应用的驾驶辅助系统中，很多都用到了摄像头等视觉传感器，如LKA、LDW、FCW等。

作为无人驾驶的重要一部分，车道保持辅助（LKA）系统往往放置于开发前期，首先通过LKA实现驾驶人辅助，并通过逐步完善向无人驾驶迈进。LKA可大致分为车道保持（LK）和车道中心保持（LC）两类，区别在于控制系统控制目标和控制系统干预程度，车道偏离保持系统的控制目标为以较少的干预将车辆保持在车道内，车道中心保持策略的控制目标为车道中心线附近，相较于车道保持系统干预较多。

在LKA中，摄像头采集图像信息并将车辆相对车道线信息发送给LKA控制器，LKA控制器结合驾驶人设置计算目标控制量，通过电子助力转向系统实现被控车辆转向修正，进而实现偏离修正和中心线保持。

摄像头通过成像原理和对应的标定操作可以获得检测到的车道线和自身车辆间的距离，另外也能获得车道线与车辆行驶方向的夹角，从而估算出预计偏离车道的时间，按照控制策略的不同，距离或预计时间是LKA控制系统决策的依据。准确地检测车道线和距离或预计时间的计算是LKA技术的前提和难点，由于车道线的特殊性，通常由摄像头进行检测，因此基于摄像头的车道线检测是LKA技术的主流方案。

与车道保持辅助（LKA）系统相似的车道偏离预警（LDW）系统也是主要采用基于摄像头的车道线检测技术，与LKA主动干预车辆控制不同，LDW主要进行车道偏离的报警信息。

视觉感知的另一个应用是前向碰撞预警（FCW）系统。在FCW系统中，摄像头负责对前向障碍物进行检测识别，并依照摄像头成像原理对障碍物与自身车辆间的距离进行判断，由距离和自身车辆行驶速度计算出预计碰撞时间，由预计碰撞时间作为是否发出预警的判断依据。在前向碰撞预警系统中，毫米波雷达也是常用的传感器，由于毫米波雷达能更准确地获得目标速度信息，而摄像头能够判断目标类别，因此毫米波雷达和摄像头的信息融合是目前前向碰撞预警系统的主流解决方案。

与前向碰撞预警系统类似的自动紧急制动（AEB）系统也需要对前向障碍物进行检测。AEB系统通过摄像头或雷达检测和识别前方车辆，在有碰撞可能的情况下先用声音和警告灯提醒驾驶人进行制动操作回避碰撞。若驾驶人仍无制动操作，系统判断已无法避免追尾碰撞时，就会采取自动制动措施来减轻或避免碰撞。同时，AEB系统还包括动态制动支持，当驾驶人踩下制动踏板的力量不足以避免即将到来的碰撞时时，就会为其补充制动力。

3.2.2 毫米波雷达

1.雷达的简介

雷达是用于检测和定位反射物体，如飞机、船舰、车辆和自然环境的一种电磁系统。它通过发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率（径向速度）、方位、高度等信息。

雷达检测的基本原理如图3-63所示。发射机发射电磁信号，由天线辐射到空中。发射信号的一部分被目标拦截并向多个方向再次辐射，然后辐射回到雷达的信号被雷达接收天线采集，并送到接收机。在接收机中，该信号被处理以检测目标的存在并确定其位置。一般雷达由以下五个部分组成：发射机、发射天线、接收机、接收天线和显示器。此外，还有电源设备、抗干扰设备等辅助设备，并根据需求的不同进行进一步细分。

雷达的简单测距是根据雷达信号到目标并返回的时间 T 确定的。电磁波在空间内以光速传播，即 c =3×10 ⁸ m/s。因此，雷达信号传播到距离 R 的目标并返回雷达的时间为2 R/c 。于是，到目标的距离为

雷达测距原理如图3-64所示。

雷达测速是基于多普勒效应（Doppler Effect）原理。所谓多普勒效应，就是当声音、光和无线电波等振动源与观测者以相对速度 v 运动时，观测者所收到的振动频率与振动源所发出的频率不同。也就是说，当发射的电磁波与被探测目标有相对移动时，回波的频率会和发射波的频率不同。当目标向雷达天线靠近时，反射信号频率将高于发射信号频率；反之，当目标远离天线而去时，反射信号频率将低于发射信号频率，如图3-65所示。由多普勒效应所形成的频率变化称为多普勒频移，它与相对速度 v 成正比，与振动的频率成反比。因此，通过检测这个频率差，可以测得目标相对于雷达的移动速度，也就是目标与雷达的相对速度。

雷达方程将雷达作用的距离与雷达系统以及目标的特性联系起来。它可以用于确定雷达能够探测到目标的最大作用距离，并且可以用来了解影响雷达性能的因素。

雷达方程为 ^[23]

式中 R _max ——雷达的最大作用距离（m）；

P _t ——发射机的功率（W）；

G ——天线的最大增益；

A _e ——接收天线的有效孔径面积（m ² ）；

σ ——雷达的截面面积（m ² ）；

S _min ——最小可检测的信号（W）。

除了目标的雷达截面面积之外，该简单形式的雷达方程的参数均受到雷达设计师的控制。

2.车载毫米波雷达系统

（1）毫米波的特性

毫米波雷达使用毫米波（Millimeter Wave）。通常毫米波是指30～300GHz频域（波长为1～10mm）的电磁波，其波长介于厘米波和光波之间。毫米波位于微波与远红外波相交叠的波长范围，因此毫米波兼有这两种波谱的优点。电磁波图谱如图3-66所示。

毫米波雷达的主要特点：

1）与微波相比，其波长更短，元件尺寸小，使得系统紧凑，体积小，重量轻，容易安装在其他装备上，雷达设备的体积和天线口径得以减小。防撞雷达安装在汽车上，要求整机体积一定要小巧紧凑，而天线口径的尺寸是影响雷达整机体积的最大因素。

2）毫米波具有更窄的波束，可提供更高的测角精度，抗干扰性强；具有更大的多普勒频移，可提供更高的测速精度。

3）毫米波雷达信号频带宽。信号高带宽可以提供更高的距离分辨率，满足精密跟踪和目标识别的需求；高带宽可以提供宽带扩频能力，避免相互干扰，降低多径效应和杂波干扰。

4）与红外、激光、图像等传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候（大雨天除外）全天时的特点。

（2）毫米波雷达的发展

雷达系统的概念最早出现在20世纪早期，专门满足监视和武器制导的军事需求。毫米波汽车防撞雷达的研究始于20世纪60年代，研究主要在以德国、美国和日本为代表的一些发达国家内展开。至今为止，从时间上大致可分为以下两个阶段。

第一阶段从20世纪60年代至80年代末期，这一阶段的特点是微波理论及其器件集成水平低，系统硬件成本高，对于毫米波防撞雷达系统的性能要求没有客观的标准，因而各国研制出的防撞雷达样机的应用效果差。

第二阶段从20世纪90年代中期至今，在这一阶段，随着微波技术理论及其器件集成技术的高速发展，以及嵌入式处理器性价比的突飞猛进，使得研制出低成本、高性能的汽车防撞雷达成为可能，同时伴随着各国的智能交通系统计划全面启动，对于汽车防撞雷达系统的性能要求也大致达成了共识。

近年来，随着信号处理和毫米波技术突飞猛进的发展，雷达产品逐渐在民用市场特别是车载领域得到推广。各国的车载雷达频段主要集中在24GHz、60GHz和77GHz这3个频段，主要国家车载雷达频率划分情况见表3-3。其中，24GHz的波长是1.25cm（虽然24GHz的波长是1.25cm，但是目前业界也依然将其称之为毫米波），60GHz的波长是5mm，77GHz的波长则更短，只有3.9mm。因此，频率越高波长越短，分辨率、精准度就越高。长期来看，远距离车载毫米波雷达最终将会统一于77/79GHz（76～81GHz）频段，该频段带宽更大、功率水平更高、探测距离更远；相比于24GHz，77/79GHz雷达物体分辨准确度提高2～4倍，测速和测距精确度提高3～5倍，能检测行人和自行车；且设备体积更小，更便于在车辆上安装和部署。不过目前尽管精度更高的77/79GHz雷达正努力成为汽车领域的主流传感器，但价格更低的24GHz仍将在未来车载雷达中应用。

车载毫米波雷达的发展如图3-67所示。苏州豪米波技术有限公司的24GHz和77GHz毫米波雷达是在此基础上进一步研发的车载雷达，在研发与生产技术上与国外同步。

（3）毫米波雷达的工作体制

雷达系统主动发射电磁波信号，该信号遇到物体后形成反射回波。利用反射回波的信息，雷达可以实现对目标的检测和坐标测量。根据雷达工作体制的不同，可以分为脉冲体制雷达和连续波体制雷达。脉冲体制雷达间断地发射电磁波，利用发射波形的间歇期雷达接收目标回波；而连续波体制雷达则是持续不断地发射电磁波，在电磁波发射的同时雷达接收目标回波。

雷达的工作体制如图3-68所示。

1）脉冲体制雷达。脉冲体制雷达周期性地发射波形，波形发射周期称为脉冲重复周期（Pulse Reception Interval, PRI）。在一个脉冲重复周期内，电磁波信号发射时间占脉冲重复周期的比值称为占空比。对于脉冲体制雷达，受到实际器件水平的限制，占空比通常小于20%。PRI的大小决定了脉冲体制雷达的无模糊测距范围，PRI越大，无模糊测距距离也越大。

在发射波形的时间内脉冲体制雷达不接收回波，而是在发射间歇期内接收回波并进行处理。因此，脉冲体制雷达发射天线和接收天线是共用的。由于雷达在发射波形期间无法接收信号，存在一定的盲距，因此难以实现对极近距离目标的探测。脉冲体制雷达利用一个PRI内发射波形和接收波形之间的时间差进行测距处理。距离分辨率和发射脉冲宽度有关，距离分辨率越高，要求发射脉冲宽度越窄。

为了提高脉冲体制雷达的距离分辨率，通常采用线性调频（Linear Frequency Modulation, LFM）信号以及脉冲压缩处理。雷达发射宽带LFM信号，在接收端进行脉冲压缩处理。LFM信号及脉冲压缩处理可以有效地解决雷达距离分辨率、发射脉冲宽度、发射功率之间的矛盾。

对于脉冲体制雷达，为了实现对目标速度的估计需要周期性地发射多个脉冲，且需要各个PRI之间的发射脉冲相位保持相参性。脉冲体制雷达的测速分辨率和脉冲积累时间有关。为了达到较高的测速分辨率，需要较多的脉冲积累数，因而需要较长的积累时间。PRI的大小决定了无模糊测速范围，PRI越小，无模糊测速范围越大。

2）连续波体制雷达。常见的连续波体制雷达包括恒频率连续波（Continuous Wave，CW）雷达、调频连续波（Frequency Modulated Continuous Wave, FMCW）雷达、频移键控（Frequency Shift Keying, FSK）雷达和相移键控（Phase Shift Keying, PSK）雷达等。

CW体制只能利用目标回波的多普勒频移进行速度测量，而无法实现测距。FSK体制可以利用同时接收到的两个回波的相位差进行距离测量，也可以利用多普勒频移进行速度测量，但其缺点是难以测量多个目标且存在严重的距离模糊。PSK体制一般利用伪随机二相位码或者四相位码调制载波测量距离和速度；其信号的模糊函数呈图钉形，具有良好的目标鉴别能力，可以同时探测多个目标。FMCW体制具备测距和测速能力，通过发射特定的波形可以实现多目标测量，信号处理复杂度低、成本低廉、技术成熟。但是，具有高准确度的FMCW雷达波形的线性调频不易获得，极易影响距离分辨率。

（4）毫米波雷达的工作波形

典型的连续波体制雷达工作波形包括频率调制波形和相位调制波形。

1）频率调制波形。最常见的连续波波形为单频信号，即雷达向空中发射频率为 f ₀ 的连续电磁波，数学表达式为

式中 a （ t ）——幅度调制函数，通常 a （ t ）为常数。

当电磁波经过目标反射，且目标存在一定的运动速度时，目标的反射回波信号和雷达的发射波形相比会产生多普勒频率（假设波形的幅度不变）。多普勒频率 f _d 可以表示为

式中 λ ——雷达工作波长；

v ——目标运动速度。

假设目标的距离为 R ，目标的反射回波信号和雷达的发射波形相比会产生相位的变化，表示为

利用相位的变化可以估计目标的距离，但由于相位以2 π 为周期变化，利用式（3-15）估计目标距离会存在严重的距离模糊，因此，利用单频连续波无法估计目标的距离，只能估计目标的速度。

为了估计目标的距离，可以利用调频连续波。调频连续波表示为

式中 k ——调频连续波的调频斜率。

假设目标的距离为 R ，当发射波形为调频连续波时，目标的反射回波信号相对于发射信号存在频率差 f _R ，表示为

当目标存在运动速度时，反射回波信号相对于发射信号的频率差 f _dR 为

调频连续波的回波频率中包含了目标距离和速度信息，但是两者是耦合在一起的。对于运动目标，利用调频连续波波形无法获知其距离和速度信息。

两种调频连续波对比见表3-4。

对于调频连续波，利用发射激励波形和接收回波进行混频处理，得到差频信号。对差频信号进行目标检测，速度和距离估计。

频率调制工作原理框图如图3-69所示。

利用三角波线性调频连续波估计目标的距离和速度。三角波调频连续波包含上扫频和下扫频两部分，表示为

式中 T ——调制周期；

B ——信号带宽， B=kT /2。

将回波信号与发射信号进行混频处理，可以分别得到上扫频和下扫频部分差频信号，表示为

式中 f ⁺ ——上扫频部分的差频信号；

f ^- ——下扫频部分的差频信号。

利用式（3-20）可以得到目标的距离和速度，计算如下：

2）相位调制波形。相位调制连续波体制采用相位编码波形，利用脉冲压缩技术估计目标的距离，能够有效估计多个目标的距离。

脉冲压缩技术是发射宽脉冲，利用匹配滤波器对接收信号进行处理，以获得较窄的脉冲。在获得较高距离分辨率的同时，避免了较高的峰值功率。匹配滤波处理前的脉冲宽度与匹配滤波处理后的脉冲宽度之比称为脉冲压缩比。脉冲压缩体制如图3-70所示。

脉冲压缩处理可以表示为

式中 S _r （ t ）——雷达接收到的回波信号；

S ^* （ t ）——雷达发射波形的复共轭，称为脉冲压缩匹配滤波器；

y （ τ ）——匹配滤波器的输出。

式（3-22）中表示的是连续时间信号，对于相位编码波形，常采用离散时间信号的形式表示，脉冲压缩处理写作

对于相位编码波形，采用脉冲压缩处理。当存在目标时，脉冲压缩的结果会出现峰值，峰值的位置和目标的距离相关。

相位调制连续波波形工作原理框图如图3-71所示。

常见的相位编码波形包括二相编码波形、四相编码波形、多相编码波形、Costas编码波形等。以典型的二相编码波形为例，采用具有一定编码长度的0、 π 相位波形编码，如码长为13的一种二相编码波形的相位为[0 0 0 0 0 π π 0 0 π 0 π 0]。

（5）车载毫米波雷达的组成

目前，车载毫米波雷达系统的波形调制方式主要为FMCW体制。该雷达系统主要包含以下几部分：收发天线、射频前端、调制信号以及信号处理模块等。通过发射信号和接收信号的相关处理实现对目标的距离探测、定位和测距。

FMCW毫米波雷达探测系统如图3-72所示。

3.车载毫米波雷达硬件结构

毫米波雷达系统的核心部件是单片微波集成电路（Monolithic Microwave Integrated Circuit, MMIC）芯片和天线印制电路板（Printed Circuit Board, PCB）。

（1）MMIC简介

单个MMIC芯片包含了多种功能的电路，如低噪声放大器、功率放大器、混频器、压控振荡器、移相器等，它具有电路损耗小、噪声低、频带宽、动态范围大、功率大、附加效率高、抗电磁辐射能力强等特点。

随着集成电路技术的不断进步，微波雷达电路芯片也经历了由最初多个单一器件的高频电路到单一功能的高频电路集成，再到如今的多功能单一芯片的大规模集成。MMIC的芯片材料的制作工艺主要有高电子迁移率晶体管（High Electron Mobility Transistor，HEMT）工艺，如GaAs基HEMT、InP基HEMT；双极型（Bipolar）工艺，如SiGe基Bipolar；CMOS工艺，如Si基CMOS。近几年发展起来的BiCMOS（Bipolar CMOS）工艺将CMOS器件作为主要单元电路，在要求驱动大电容负载之处加入双极器件或电路，这样BiCMOS电路既具有CMOS电路高集成度、低功耗的优点，又获得了双极电路高速、强电流驱动能力的优势。未来的MMIC技术是更高集成度的RF-CMOS工艺。

MMIC原件材料对比如图3-73所示。

（2）PCB简介

毫米波雷达PCB（图3-74）的主流方案是微带阵列，即将高频PCB集成在普通的PCB基板上实现天线的功能，需要在较小的集成空间中保持天线足够的增益和旁瓣比。77GHz汽车高分辨率雷达需要更高规格的高频PCB，77GHz雷达的大范围运用将带来相应高频PCB的巨大需求。

（3）雷达天线

雷达天线可以将雷达发射的电磁波聚成波束，定向地发射和接收电磁波。雷达天线的类型很多，按其结构形式划分主要有反射面天线和阵列天线两大类；按天线波束的扫描方式划分主要有机械扫描天线、电扫描天线和机电扫描结合的天线。目前，市场上的毫米波雷达天线有机械扫描天线、电扫描天线、单脉冲雷达天线，如图3-75所示。

1）机械扫描天线。通过机械的方法驱动天线转动，实现天线波束在方位和仰角二维的扫描，扫描的速度较慢。

2）电扫描天线。天线固定不动，波束在方位和仰角二维的扫描，都是用电子技术控制阵列天线上各辐射单元的馈电相位或工作频率来实现的，波束扫描的速度很快。

3）单脉冲雷达天线。用多个形状相同、指向不同、部分重叠的锐波束同时接收目标回波信号，能够根据单次发射收到的回波信号判别目标偏离瞄准轴的方向与大小，从而获得目标的全部角坐标信息。

雷达天线性能对比见表3-5。

4.车载毫米波雷达的信号处理

为了完成雷达目标检测、分类与跟踪，需要对雷达的回波信号进行处理。该回波信号是包含了目标、杂波、噪声和干扰等几个分量的叠加信号。雷达信号处理的目的就是从复合信号中提取有用信息，包括目标检测以及目标位置估计等。

（1）中频信号预处理

一般车载雷达采用的调制波形多为线性调频连续波雷达（LM-FMCW）。雷达从接收天线接收到回波信号，由于其频率过高并不能直接对其进行处理，将回波信号和发射信号通过混合器进行混频，得到中频（Intermediate Frequency, IF）信号，如图3-76所示。

在苏州豪米波技术有限公司雷达的中频信号处理过程中，对中频信号进行两次快速傅里叶变换（Fast Fourier Transform, FFT），在快时间维和慢时间维进行采样得到距离-多普勒矩阵（Rang-Doppler Matrix, RDM），如图3-77所示。

（2）雷达目标检测

雷达目标检测就是在含有杂波和噪声的回波信号中提取出目标信息。在噪声中检测雷达信号是一个选择-判断的问题。雷达回波信号在任意时刻均有两种可能情况：一种是仅有噪声的情况，另一种是既有噪声又有目标信号的情况。用 P （ H ₀ ）和 P （ H ₁ ）分别表示无目标信号和有目标信号的先验概率。一般常用贝叶斯准则进行检测判决。首先定义似然比函数 L （ x ）

假设 U ₀ 为判决门限，检测法则可以表示为

对于噪声中的雷达目标信号检测来说，通常要求在一定的虚警概率 P _t 的条件下，目标检测概率 P _d 的值越大越好，这种检测准则称为聂曼-皮尔逊准则。

标准雷达的检测判决门限 U ₀ 假设为定值，如果门限设高了，则虚警率低，可能会发生大量的漏警；如果门限设低了，则检测概率增大，但是噪声、杂波和干扰会引起大量虚警。现在常常采用恒虚警率方法来保证雷达信号具有确定的虚警率（Constant False-Alarm Rate, CFAR）。

一维CFAR检测器如图3-78所示，用待检测单元的周围参考单元的回波信号来估计检测门限。由于参考单元的滑窗随着待检测单元的变化而变化，检测门限也随着自适应变化，因此CFAR检测器是自适应检测器。

常用的一维CFAR检测器有单元平均恒虚警率检测器（CA-CFAR）和有序恒虚警率检测器（OS-CFAR）。CA-CFAR检测器的基本原理是将参考滑窗的均值作为杂波和背景噪声的估计值，其优点是在均匀杂波环境中具有很好的检测效果，缺点是在多目标检测和杂波边缘存在掩蔽效应。OS-CFAR检测器的基本原理是将参考滑窗的值进行排序，选取第 k 个值作为杂波和背景噪声的估计值，其优点是在多目标环境中具有很好的检测效果，缺点是排序算法的复杂度过高，特别是参考滑窗数量过多的情况。

5.车载毫米波雷达的数据处理

雷达数据处理就是对信号处理系统获取的点迹结果进行跟踪、滤波处理，得到目标的航迹（轨迹）特征。目标的点迹反映了某个给定时刻目标的位置信息，而目标的航迹则反映一段时间内目标的运动特征信息。雷达系统面向的目标对象主要为运动在道路上的机动车、自行车、行人等，不同类型的目标具有不同的运动规律。在复杂背景下准确地获取目标的运动状态和及时地跟踪机动目标，是雷达数据处理研究的重点。毫米波雷达跟踪系统用于观测目标的距离、方位角、速度等参数，利用这些参数并保持对这些测量参数的跟踪能够实现未来时刻目标参数值的预测。

毫米波雷达的数据处理如图3-79所示。

（1）目标运动模型

利用状态参量，目标的运动方程可以表示为

式中 X （ k ） ——k 时刻的系统状态矢量；

Φ ——目标运动模型所对应的状态转移矩阵；

Γ ——运动模型所对应的系统控制矢量；

W （ k ）——过程噪声，为零均值、协方差矩阵为 Q （ k ）的白噪声序列。

对于雷达系统的跟踪处理，目标运动模型的建立是基础，运动模型必须能反映目标的真实运动规律，从而得到较高的跟踪精度。常见的目标运动模型有常速（Constant Velocity, CV）模型、常加速（Constant Acceleration, CA）模型、Singer模型、“当前”统计模型、Jerk模型等。

（2）目标跟踪坐标系

在雷达跟踪坐标系（图3-80）中，若坐标系选择不同，则数据处理中系统状态模型和观测模型也不同。

直角坐标系是使用最普遍的坐标系，在目标跟踪处理时，采用直角坐标系的最大特点是可以利用线性方程对目标运动特性进行建模描述和跟踪外推处理。例如，在给定目标速度和加速度的条件下，目标跟踪处理的位置预测方程为线性方程。

而对于极坐标系，雷达的点迹获取一般是在极坐标系下，典型的参数为距离、方位（对于三坐标雷达为距离、方位和俯仰）。如果在极坐标系下进行跟踪滤波处理，则可以避免坐标转换之间引入的误差；如果在直角坐标系下进行跟踪滤波处理，则需要将观测结果从极坐标系转化到直角坐标系下。

在汽车主动安全领域中，目标的典型运动模型为匀速直线运动和加速直线运动，且目标距离雷达较近。假设雷达安装于汽车的前部，以汽车运动的方向为 y 轴、汽车运动方向的垂直方向为 x 轴建立直角坐标系，进行目标跟踪处理。

（3）目标跟踪系统

估计理论是雷达目标跟踪的基础理论，要求建立系统模型来描述目标的运动状态特性和测量传感器。这种系统模型把某一时刻的状态变量表示为前一时刻状态变量的函数，此方法的系统输入/输出关系是用状态转移模型和观测模型在时域内加以描述的。雷达目标跟踪的基本系统主要是线性离散时间系统，目标动态特性和测量传感器可以用以下方程描述：

式中 k Φ 、 B _k 、 G _k 、 H _{k +1} 、 L _{k +1} ——n×n 、 n×p 、 n×q 、 m×n 、 m×r 维实值矩阵；

k ， k +1——离散时间的瞬间；

s _k ——k 时刻系统状态的 n 维向量；

u _k ——确定输入的 p 维向量；

v _k ——随机输入扰动的 q 维随机向量；

w _{k +1} ——观测噪声的 r 维随机向量；

z _{k +1} ——观测值的 m 维向量。

雷达跟踪离散时间系统如图3-81所示。

在汽车主动安全领域中，车载雷达传感器需要对周围所有可能引起交通事故的物体进行探测和定位。尤其是在高速公路上，需要对本车前方和后方的汽车目标进行快速准确地发现和稳定地跟踪，利用雷达传感器所采集到的目标回波数据，可以实时得到目标的运动轨迹。雷达对目标跟踪的过程也就是滤波的过程。一般在工程上常用的跟踪滤波器有最小二乘滤波器、α-β滤波器、卡尔曼滤波器和扩展卡尔曼滤波器等。

传统的雷达处理方法是先进行检测处理，然后做跟踪处理，称为跟踪前检测。而检测前跟踪（Track-Before-Detect, TBD）方法是在检测前即进行跟踪处理。TBD方法的基本思路是沿着目标运动轨迹进行能量积累。TBD算法在各帧数据间对假设路径包含的能量做非相干积累，在目标的航迹被估计出来后，同时得到检测结果与目标航迹。

毫米波雷达的多目标跟踪数据处理如图3-82所示。

6.车载毫米波雷达应用系统

汽车毫米波雷达传感器主要应用在高级驾驶辅助系统（ADAS）上，可以遍布车身四周，如车辆正前后方、车辆两侧以及车身四角等，如图3-83所示。不同安装部位的毫米波雷达具有不能的功能，主要分为自适应巡航（ACC）系统、前/后方碰撞预警（F/RCW）系统、盲点探测（BSD）系统与变道辅助（LCA）系统等，根据具体安装位置的不同还可分为停车辅助系统（PAS）、交叉交通辅助（RCTA）系统、侧向防碰撞（SCD）系统等。

（1）自适应巡航系统

自适应巡航系统一般安装在车辆的正前方，如图3-84所示。其作用距离比较长，属于长距离毫米波雷达，探测距离为100～300m，甚至更远，但雷达视域窄，主要根据车辆正前方物体（一般为本车道前方车辆）与汽车本身相对距离与速度调整自身车身，从而保证车辆的行驶安全性。必要时，该系统可以做出紧急制动，防止碰撞，从而达到安全自动巡航的目的。

（2）自动紧急制动系统

车载毫米波雷达主要应用在汽车的防撞系统上，如图3-85所示。车载毫米波雷达利用电磁波发射后遇到障碍物反射的回波对其不断检测，计算出与前方或后方障碍物的相对速度和距离。当车辆行进中时，发射机产生的雷达窄波束向前发射调频连续波（FMCW）信号，当发射信号遇到目标时被反射回来，并为接收天线接收，经混频放大处理后，可用其差频信号频率来表示雷达与目标的距离，再根据差频信号相差与相对速度关系，计算出目标对雷达的相对速度及危险时间，从而通过防撞系统对车辆做出预判警告。

（3）盲点探测系统与并道辅助系统

盲点探测系统（图3-86）与并道辅助系统一般安装于车身四角盲点区域，属于短距离毫米波汽车雷达。并道辅助系统的作用距离一般在30m左右，而盲点探测系统的作用距离更近，一般在10m以内。除了作用距离有所不同外，这两个系统的安装位置以及功能基本一致，都是为了给驾驶人提供盲区内的信息，帮助驾驶人安全驾车。

7.面向自动驾驶的毫米波雷达所面临的挑战

（1）毫米波雷达面临的雷达间干扰问题

毫米波雷达的全天候工作特质使其成为辅助驾驶和自动驾驶的重要且必要传感器。不断扩展的辅助驾驶和自动驾驶应用对毫米波雷达的距离/角度/速度分辨率及精度提出了越来越高的要求，使其带宽和天线阵列规模也都不断提升。同时，随着车载雷达渗透率的提升，汽车雷达之间的相互干扰变得不可忽视。由于雷达对目标的探测是基于回波信号的，而干扰雷达信号可以单程直达被干扰雷达，干扰信号强度甚至可以比同样距离处的自身雷达目标回波信号强度高几十分贝。因此，来自其他雷达的干扰会降低自身雷达检测概率或提升虚警概率，对安全性或舒适性造成负面影响。另外，来自路边站干扰以及一些恶意干扰也会影响雷达性能进而危及安全性。

在自动驾驶即将在我国大规模部署之前，毫米波雷达的设计还要考虑如何适应我国复杂的路况和高密度的车流，尤其是一线城市的市区路口、典型环线和高架桥等高密度场景下。以中关村一桥的平面交通典型状况为例，它为4方向路口，单向4条主路、4条辅路，假设按驾驶人反应时间2.5s和车辆长度6m设置安全车距，且假设典型场景下，平均车速50km/h、30km/h、15km/h和5km/h分别占30%、20%、30%和20%，则方圆100m ² 内平均车辆数大约172（=80×30%+116×20%+200×30%+320×20%）辆，见表3-6。

市区路口行人和各种非机动车混杂，目标检测的难度本来就大，而高密度场景下多车之间的雷达干扰又进一步对复杂环境下的目标检测提出了更具挑战的要求。

（2）雷达间干扰问题的研究和产业现状

欧盟基金会于2010—2012年针对车载毫米波雷达干扰成立研究项目MOSARIM（MOre Safety for All by Radar Interference Mitigation），其主要成员包括Bosch、Daimler、Continental、Valeo、KIT、Volvo、Hella等主流OEM和毫米波雷达Tier1公司。

MOSARIM选择了8种典型应用，定义了其主要的干扰场景，进行了仿真、实验室测试和路测。

1）ACC：Adaptive Cruise Control自适应巡航控制。

2）CWS：Collision Warning System碰撞预警系统。

3）CMS：Collision Mitigation System碰撞缓解系统。

4）VUD：Vulnerable roadUser Detection弱势交通参与者检测（行人检测）。

5）BSD：Blind Spot Detection盲点检测。

6）LCA：Lane Change Assist变道辅助。

7）RCA：Rear Cross-traffic Alert后方穿行碰撞预警。

8）BPA：Back-up Parking Assist后向泊车辅助。

研究指出，汽车雷达的无干扰运行是高安全要求应用的先决条件，即使对于安全要求较低的告警或舒适功能，也应该采用技术手段来确保足够的服务质量。随着雷达渗透率的提高，干扰的发生率会进一步增加，其中最可能的干扰效应是被干扰接收机的底噪抬升，从而带来雷达探测的漏警和虚警问题。在没有采用任何干扰消除技术的情况下，干扰功率可以超过噪声水平20～50dB。对于具有较高EIRP的现有设备，该值甚至可以达到70dB或更高。研究还给出了各种干扰消除技术的解决思路，包括雷达波形在时域、频域和空域的协调、天线极化、波形编码等。值得注意的是，由于实现复杂度和技术本身的特点决定，并非所有干扰消除技术都适用于现有和未来的车载雷达功能。此外，该研究是基于欧洲地区的情况进行的，对于其他地区存在的差异，如典型道路情景的差异（如亚洲特大城市的高密度交通或美国的长期并行驾驶）、现有频谱应用的差异、无线电监管的差异等，需要进一步更新、扩展和开发。

目前还有一些车载雷达项目在进行雷达间干扰研究，如由德国政府资助的IMIKO项目，其主要目的是依据测量技术和测试环境来寻求有效的协同解决方案，从而最小化车载雷达之间的干扰。

目前已有车载毫米波雷达厂商采用了部分干扰抑制的设计，其思路主要是从增强自身波形的抗干扰能力出发的。随着车载毫米波雷达的大规模部署，雷达间的干扰问题会越发突出。同时自动驾驶对毫米波雷达精度和分辨率的要求也进一步提升，现有的干扰抑制方法及其带来的复杂度是否能面对这些挑战，车载雷达是独自抗击干扰还是多车雷达能在时频、空域进行协同从而避免干扰，这些都需要进一步的分析并积极寻求解决方案。

3.2.3 激光雷达

1.车载激光雷达的简介

（1）车载激光雷达的发展

世界上第一台激光器诞生于1960年，此后应用激光进行测量的研究便逐渐开展起来，最早激光雷达应用于测绘领域，搭载于机载平台完成海底探测、地貌测绘和航空测量。随着光学和电子学技术的发展与成熟，尤其是激光技术的发展，激光雷达的性能不断提升，应用范围也日益广泛。

激光雷达应用于无人车避障与导航的研究早在20世纪90年代后期就已经开展，早期的研究奠定了激光雷达应用的基本架构，但对车载激光雷达研究起到巨大推动作用的是开始于2004年的DARPA（美国国防部高级研究计划局）无人驾驶车挑战赛。2005年冠军车——斯坦福大学的Stanley使用了五个SICK的1线激光雷达，同年参赛的Velodyne赛车队，虽然没有跑完全程，但使用的64线激光雷达引起了广泛关注。此后激光雷达在无人车环境感知上的重要作用得到了重视。2007年时，无人驾驶车挑战赛六支完成比赛的队伍中，五家采用了Velodyne的激光雷达（图3-87）。Velodyne也在此后的十多年间成了车载激光雷达行业的先行军。

谷歌在2009年开始投入自动驾驶研究，其技术精英大多来自DARPA挑战赛。谷歌自动驾驶团队自成立之后一直是行业内的领头军，并在2016年独立出了自动驾驶子公司Waymo。谷歌初代测试车上使用了Velodyne的64线激光雷达，但由于其居高不下的成本和漫长的供货周期，后期开始自己研发激光雷达。

随着自动驾驶浪潮的到来，越来越多的公司和机构投入高性能车载激光雷达的研究，Velodyne一枝独秀的时代早已被打破。此外，早期激光雷达的测试和使用者越来越不满足于体积大、价格高昂、可靠性尚待提升的初代机械式激光雷达，因而众多激光雷达公司一方面针对机械式激光雷达不断进行技术升级和架构优化，另一方面也着手开发固态式激光雷达。固态式激光雷达的概念自2016年逐渐火爆起来，其结构中取消了电机的机械运动，描绘了一个集成度更高、价格更低、应用广泛的美好前景。

如今汽车行业正在面临着巨大的变革，电动化、网联化、智能化、共享化是未来的发展方向，无论是传统整车厂、Tier1公司，还是新兴的自动驾驶公司都在投入大量人力、物力用于自动驾驶技术的开发。激光雷达作为一种具有突出应用优势的传感器，高级别自动驾驶车辆上必须搭载激光雷达已经成为行业的广泛共识。作为一项新兴应用，国内外关于激光雷达技术的研究基本属于同一梯队，不管是国外的Velodyne、Quanergy、IBEO、Blackmore、Innoviz、Ouster等公司，还是国内的禾赛科技、速腾聚创、镭神智能、北科天绘等公司都在加紧开发更加符合自动驾驶需求的解决方案。

（2）激光雷达的特点

激光雷达作为一种主动测距方式，应用激光作为测量媒介。激光光束的发散角小、能量集中、方向性好，因此激光雷达具有高灵敏度和高分辨率的突出优点。此外，激光雷达反应速度快、能够获得巨大的信息量，每秒钟可以获得百万个空间点的距离、角度、强度等信息，图3-88所示为激光雷达实测点云图。激光雷达用于智能车辆时，能够对周边环境进行精准的3D重建，因而被业界称为最有效的环境感知方案，是高级别自动驾驶实现的关键感知部件之一，被形象地描述为自动驾驶车辆的“眼睛”。

（3）激光雷达与其他车载传感器的比较

虽然激光雷达在环境重建上具有突出的优势，但各类车载传感器在不同方面存在着各自的优点和问题。表3-7比较了毫米波雷达、激光雷达、超声波雷达和视觉传感器（摄像头）的优缺点。

激光雷达的优点不再赘述，下面讨论激光雷达目前存在的问题：

1）激光雷达的天气适应性有待提高，目前在大雨大雪等恶劣天气中使用效果会受到一定的影响。信号处理及过滤算法的开发可能是解决这一问题的方向。

2）激光雷达的温度适应性及可靠性有待提高，作为一种新兴的传感器，激光雷达技术还需要一定的沉淀和积累。激光雷达系统的改进，可靠性低零部件的替换，失效安全预防措施的增加等都在研究之中。

3）相比其他智能汽车环境感知传感器，激光雷达目前价格较昂贵，这限制了其大规模应用，生产规模扩大带来的分摊成本的降低以及低成本方案的开发会是解决这一问题的出路。

4）当多台同一波段的激光雷达在同一空间工作时可能出现相互干扰的问题。目前主要的解决途径有应用窄带滤波片、信号匹配等方案。另外，FMCW激光雷达将进一步减少相互干扰的问题。

通过以上分析不难看出，目前各类车载传感器在不同方面具有各自的优点和问题，通过多传感器融合实现一个可靠性更高、探测能力更强的系统是目前公认的高级别自动驾驶所需的解决方案。对于激光雷达而言，因其具有其他传感器不可比拟的优势，故它是高级别自动驾驶中不可替代的核心传感器。

2.激光雷达的原理

这里主要从不同层次介绍激光雷达的工作原理，主要内容包括激光产生原理、激光雷达的系统架构、激光雷达方程和激光雷达的测距原理。

（1）激光产生原理

激光（Light Amplification by Stimulated Emission of Radiation，Laser）指的是光受激辐射放大，其英文全名也简单指出了激光的基本原理。下面简单介绍激光产生原理。

电子的运动状态可以分为不同的能级，电子从高能级向低能级跃迁时，会释放出相应能量的电磁波（所谓自发辐射）。一般的发光体中，这些电子释放光子的动作是随机的，所释放出的光子也没有相同的特性，如钨丝灯发出的光。

当外加能量以电场、光子、化学等方式注入一个能级系统并为之吸收时，会导致电子从低能级向高能级跃迁，当自发辐射产生的光子碰到这些因外加能量而跃上高能级的电子时，这些高能级的电子会因受诱导而跃迁到低能级并释放出光子（所谓受激辐射），受激辐射的所有光学特性与原来的自发辐射包括频率、相位、前进方向等会是一样的，这些受激辐射的光子碰到其他因外加能量而跃迁至高能级的电子时，又会再产生更多同样的光子，最后光的强度越来越大（即光线能量被放大了）。与一般的光不同的是，所有的光子都有相同的频率、相位（同调性）和前进方向。这种在受激辐射过程中产生并被放大的光就是激光。

一般激光产生器有三个基本要素：

1）激发来源：又称“泵浦源”，把能量供给低能级的电子，激发使其成为高能级电子，能量供给的方式有电荷放电、光子、化学作用等。

2）增益介质：被激发、释放光子的电子所在的物质，其物理特性会影响所产生激光的波长等特性。

3）谐振腔：是两面互相平行的镜子，一面全反射，一面半反射。作用是把光线在反射镜间来回反射，目的是使被激发的光多次经过增益介质以得到足够的放大，当放大到可以穿透半反射镜时，激光便从半反射镜发射出去。因此，此半反射镜也被称为输出耦合镜（Output Coupler）。两镜面之间的距离也对输出的激光波长有着选择作用，只有在两镜间距下能产生共振的波长才能产生激光。图3-89所示为激光器的主要部件。

激光的发射原理及产生过程的特殊性决定了激光具有普通光所不具有的四个特点：

1）方向性强。激光束的发散角很小，可达10 ^-4 rad量级，而普通光源发出的光向各个方向传播。

2）单色性好。光源发射光的光谱范围越窄，光的单色性就越好。

3）亮度高。激光器能产生宽度极窄的光脉冲，由于能量被集中在极短的时间内释放出来，因此光功率极高。

4）相干性好。光的相干性是指两束光相遇时，在相遇区域内发出的波相叠加，并能形成较清晰的干涉图样或能接收到稳定的拍频信号。

（2）激光雷达的系统架构

激光技术与雷达技术相结合便是激光雷达。激光雷达通过发射激光束并探测回波信号，探测目标的位置、速度等特征量。激光雷达技术作为一种在微波雷达技术的基础上发展起来的探测技术，两者在组成和工作原理上都有很多相似点。激光雷达的组成模块如图3-90所示，主要由发射模块、接收模块、扫描模块和控制模块等子系统组成。激光器发射出的光束，打到地面的树木、道路、桥梁和建筑物等障碍物上，反射的部分光波会被激光雷达的接收器接收，根据激光测距原理计算，得到从激光雷达到目标点的距离，扫描模块不断将激光束偏转至空间不同位置，从而实现对空间目标不同位置的测量获得三维点云信息，继而得以实现对周围环境的精确重建。

图3-90列出的是激光雷达通常的系统组成结构，但各个子系统具有多种可能的实现形式。发射模块可为独立激光器或者激光阵列，车载激光雷达多工作在近红外波段，具体可以由半导体激光器、光纤激光器或者垂直腔面发射激光器（Vertical Cavity Surface Emitting Laser, VCSEL）等构成。接收模块可为单点探测器或者探测器阵列，具体可选择响应激光器对应波长的光电二极管（Photodiode, PD），或者灵敏度更高的雪崩光电二极管（Avalanche Photodiode, APD）、单光子雪崩探测器（Single-Photo Avalanche Diode, SPAD）等。扫描模块负责改变激光束的空间投射方向，具体可由电机、微型谐振镜、光学相控阵（Optical Phase Array, OPA）等形式实现，另外Flash方案中不包含扫描模块。激光雷达通常会依据扫描模块的实现形式进行分类。控制模块完成对激光发射模块、接收模块和扫描模块的控制，以及激光雷达数据的处理和与外界系统的数据传输。

（3）激光雷达方程

激光雷达方程是激光雷达探测的基本数学模型，表示激光雷达的功率、口径等参数与外部工作条件、系统作用距离之间的关系，通过激光雷达方程可以指导激光雷达系统的设计，并对激光雷达的性能做出评估。

根据微波雷达方程和几何光学原理，可以推导出激光雷达方程的一般形式：

式中 P _r ——激光雷达接收到的激光功率；

P _t ——激光雷达发射的激光功率；

η ₀ ——光学系统的效率；

ρ ——目标的表面反射率；

T _a ——单程大气透过率；

A _r ——光学系统的有效接收面积；

R ——目标与激光雷达的距离；

A _i ——垂直于光束的目标被照射面积；

A _b ——目标处截面面积， A _b = R ² Ω _t ，其中 Ω _t 是激光发射立体角。

式（3-29）适用于发射、接收位于同一处的激光雷达的各种应用情况。但是，受到实际条件影响，激光雷达在不同的应用场合下有着不同的形式，主要有面目标形式、点目标形式和线目标形式。

1）激光雷达方程的面目标形式。当激光雷达探测的目标的截面面积远大于激光光束截面面积时，可以把目标当作一种被扩展的“面目标”。在激光雷达实际应用中，由于激光波束窄，多数目标可以被当成面目标。当目标为面目标时，在式（3-29）中可以认为 。激光雷达方程可以改写为

2）激光雷达方程的点目标形式。当目标截面面积小于激光光束截面面积时，激光光束中的能量只有部分被目标散射回来，这种情况下，目标可以看成“点目标”。此时 A _i 是一个固定值，不随 R 的变化而变化。激光雷达方程可以改写为

3）激光雷达方程的线目标形式。当目标截面面积在某一维度上大于激光光束，另一维度上远小于激光光束时，如电线、管道、桥梁等目标，此处的目标可以看成“线目标”。在线目标条件下，可以认为

式中 ω ——线目标的宽度。

激光雷达方程可以改写为

一般情况下，被探测的目标的截面面积通常等于激光光斑截面面积，因此激光雷达的面目标形式最常用。

（4）激光雷达的测距原理

1）直接飞行时间（Time of Flight，ToF）。ToF是指激光雷达在发出一束窄激光脉冲时开始计时，在收到这束激光脉冲的回波信号时停止计时，直接得到激光脉冲发射与接收之间的时间差。这是最简单也是最直接的测距方式，大多数激光雷达公司采用的也是这种测距原理。由于光速非常快，3.3ns的时间就已经走过1m的距离，因而在实现过程中需要控制脉冲质量、信号处理速度、脉冲计时精度、A-D转换效率等，目前基于该测距原理的激光雷达测距精度一般在厘米量级。

激光测距公式为

式中 R ——所测距离；

Δ t ——激光脉冲的飞行时间；

c ——光在真空中的速度；

n ——传输介质的折射率。

ToF的优点在于：①系统结构相对简单，容易实现；②测量速度快，数据采样率高；③随着技术和器件的成熟，测量精确度也比较高。但是ToF也存在以下问题：①激光安全限制了激光阈值，回波脉冲往往比较弱，测距能力的提升受到限制；②对于环境干扰信号的抵抗能力相对较低；③阈值触发有可能会产生测量误差。

2）FMCW。FMCW激光雷达技术源于微波雷达中的调频连续波技术，它本质上是一种激光相干探测技术，该技术通过对连续波激光进行频率调制来获得距离信息。FMCW激光雷达的发射激光的光频率受到激光器谐振腔或声光调制器等调制，光频率随时间线性变化，调制后的大部分激光经过准直和扩束后发射出去，小部分激光作为本征光。激光束打在探测目标上后，返回的光和本征光相干产生拍频信号，根据拍频信号解算出被测物体的距离及速度。

FMCW激光雷达经常采用三角波调频连续波，如图3-91所示，实线为发射信号，虚线为接收信号，扫频周期为2 T ，扫频带宽为 B ，发射信号经过目标发射，回波信号会有延时，可以在三角波的上升沿与下降沿进行测量。如果激光雷达与目标之间存在相对运动，多普勒频率 f _D 会耦合在拍频信号中，通过测量得到拍频频率 f _B1 及 f _B2 ，代入式（3-35）与式（3-36），即可得到距离 R 及速度 v _r 的值。

FMCW LiDAR的优点在于：①抗太阳光和其他激光干扰的能力比较强；②探测灵敏度更高且动态范围更宽；③可以同时实现目标物距离和速度的测量。但问题在于：①测距精度对激光光源要求高，频率调制的线性度要求高，该类激光器成本高昂；②测量速度相对较慢，导致数据采样率低；③系统结构更加复杂，增加了开发难度及成本。

3.车载激光雷达的分类

（1）激光雷达分类概述

通常按照激光雷达的整体架构，将其分为机械式激光雷达和固态式激光雷达，其判断的依据为是否包含电机结构。由电机带动光机结构整体或者转镜做机械运动的方案为机械式激光雷达，与之对应，没有采用电机结构的微型谐振镜方案、光学相控阵（OPA）方案、Flash方案为固态式激光雷达。目前占据市场主流位置的还是机械式激光雷达，固态式激光雷达还存在着各种各样需要解决的问题，随着工艺的进步和技术的成熟，固态式激光雷达也将大规模走向市场。表3-8列出了不同激光雷达方案的比较。

（2）机械式激光雷达

1）转镜方案。转镜方案中由电机带动反光装置在一定角度范围内摆动，或者360°转动，反光装置的机械运动将激光束投射到空间不同位置，与此同时完成高速测量。早期的激光雷达较多地采用这种方案，如图3-92所示的SICK的1线激光雷达。

2017年7月发布的Audi A8是世界上第一款达到L3自动驾驶级别的量产车，同时也是世界上第一款搭载了激光雷达的量产车，其搭载的量产级别的激光雷达是法雷奥（VALEO）与IBEO共同开发的SCALA，该产品也采用了转镜方案，如图3-93所示。

2）整体旋转方案。整体旋转方案的激光雷达通常包含一个由多组激光收发对组成的光机结构，由电机带动整个光机结构进行360°整体旋转。激光收发对通常在垂直方向按照一定的角度分布进行排布，这决定了激光雷达的线数，以及垂直视场角和垂直角分辨率。DARPA中使用的Velodyne 64线激光雷达就是该架构的代表。随着多年的发展，目前的整体旋转方案的高线数激光雷达往往具有更紧凑的结构和更优越的性能。图3-94列出了目前整体旋转方案的主要公司和产品。

对于机械式激光雷达，不管是机械转镜还是光机结构整体旋转的方案都相对成熟，系统性能已经得到充分验证，而且机械转动能够带来固态式激光雷达难以实现的大视场。虽然机械式激光雷达在集成度、可靠性和成本方面还有提高的空间，但随着方案的优化和改进、核心控制模块芯片化的发展，机械式激光雷达仍将在一定时间内占据市场的主流。

（3）固态式激光雷达

1）微型谐振镜方案。微型谐振镜可以看成尺寸较小的反射镜，通过自身的摆动将入射光转向空间中不同的方向，如图3-95所示。相比于电机驱动的转镜，微型谐振镜并不是由电机驱动的，它依据具体驱动方式可分为静电式微振镜、电磁式微振镜、压电式微振镜和电热式微振镜等。相比于传统的机械振镜，微型谐振镜在体积、质量、功耗和扫描频率上具有明显的优势，因无电机运动从而增加了系统的可靠性。

微型谐振镜技术相对已经比较成熟，能够找到已经市场化的微型谐振镜模块。受益于微型谐振镜原有的技术积累，以及基于微型谐振镜模块的激光雷达系统结构相对容易实现，尽管微型谐振镜模块还需要针对激光雷达应用进行优化和改进，但微型谐振镜方案的激光雷达应该会成为最先落地的固态式激光雷达方案。

2）OPA方案。光是一种电磁波，存在相干叠加现象，相干光叠加的结果就是波矢量合成。著名的双缝干涉实验（图3-96）就说明了这一物理现象，两条缝相当于两个相干光源，其相干叠加的效果就是明暗相间的条纹。

当相干光源是一个复杂的光源阵列时，即光学相位阵列（简称相控阵），相控阵发射器由若干发射接收单元组成阵列，通过改变加载在不同单元的电压，进而改变不同单元发射光波特性（如光强、相位），实现对每个单元光波的独立控制，类似于在微波雷达中早已经大规模使用的相控阵雷达。通常是调节从每个相控单元辐射出的光波之间的相位关系，在设定方向上产生互相加强的干涉从而实现高强度光束，而其他方向上从各个单元射出的光波彼此干涉相消，因此辐射强度接近于零。组成相控阵的各相控单元在程序的控制下，可使一束或多束高强度光束按照程序设定实现空间上的扫描。

相控阵原理示意图如图3-97所示。

相控阵并不是一个全新的概念，这项技术在微波雷达领域已经得到了大范围的应用，只是从微波过渡到光，波长相差好几个数量级，因此光学相控阵在器件加工方面面临的困难要大得多。此外，材料的研究和选择也是非常关键的因素。目前采用较多的是硅光，其优势在于硅光子学发展相对成熟，加工工艺易与CMOS工艺整合。主动（调制器等）与被动（波导等）器件设计已经探索多年，可选方案较多。但其缺点在于损耗大和耦合效率低，若要提高芯片输出功率，则需要解决硅材料的非线性问题。

Quanergy相控阵方案示意图如图3-98所示。

相控阵方案目前还没出现突破性的产品或样机，主要是受到工艺和材料的限制，而材料和工艺的进步不是一个短期内能够解决的问题。虽然相控阵激光雷达的前景很美好，符合人们对未来固态式激光雷达的期待，但是相控阵激光雷达走向成熟至真正落地可能还需要相对久一点的时间。

3）Flash方案。Flash激光雷达可以与相机进行类比，具有成行成列的像素点，每次测量时，同时获取每个像素点的信息，与相机不同的是，得到的信息包含了与障碍物的距离，所形成的图像不再是二维的，而是包含了深度信息的三维图像。相比于逐点扫描式的激光雷达，Flash激光雷达通过一次测量即可获得整个视场的三维图像，因此成像速度快，像素分辨率和刷新帧频可以做到比较高。Flash激光雷达示意图如图3-99所示。

Flash方案的代表公司有美国的ASC（Advanced Scientific Concepts），其线性APD固态式激光雷达起源于NASA火星探测计划，利用三维成像雷达系统为飞行器选择合适的着陆点，保证飞行器在火星表面安全着陆。ASC在和NASA的合作中积累了丰厚的技术资源。ASC使用1550nm激光器，将InGaAs APD阵列与CMOS电路通过金属凸点键合（bump bonding）的方式进行封装。ASC的车载应用部门在2016年被Continental收购，其激光雷达事业部人员被编入了Continental的底盘与安全事业部下的ADAS业务单元中。另外一家研究高灵敏度面阵传感器方案的是Princeton Lightwave，于2000年成立，此前的主营业务是航空3D测绘，最近几年开始瞄准自动驾驶市场。2017年10月，被自动驾驶公司Argo.ai（由福特投资）收购。Princeton Lightwave的技术主要沿袭了MIT Lincoln Lab的GM-APD研究成果。其使用1550nm激光器，将InP/InGaAsP GM-APD阵列与CMOS电路通过倒装式接合（flip-chip bonding）的方式进行封装，但其系统的高昂成本和集成度问题将是商用的最大阻碍。

Flash激光雷达从系统结构上来讲，无须将光束转向空间不同方向，是最符合固态概念的激光雷达方案。但激光发射功率受限于人眼安全阈值，而且Flash方案中的激光光束通常比较发散、能量衰减迅速，导致光束回波信号弱，探测器难以响应；另外，大功率高重频的激光器目前还没有彻底商业化，成本远高于现在所用的激光器，因此Flash激光雷达目前主要的应用场景都是近距离的。Flash激光雷达方案中开发高灵敏度的传感器阵列方向未来前景广阔，但是目前由于工艺的限制还存在着较多的问题，同相控阵方案类似，Flash激光雷达虽然短期落地困难，但是最有可能受益于半导体工艺技术的进步。

4.车载激光雷达的数据处理

（1）车载激光雷达数据的输出形式

激光雷达接收模块在接收到回波信号后，会对信号进行一系列的放大和滤波处理。在完成目标点距离测算和空间位置的内部换算后，激光雷达会将这些数据打包然后传输给外界系统。激光雷达通常以用户数据报协议（UDP）形式打包点云，然后通过以太网或者车载以太网进行传输。

图3-100给出了 N 线激光雷达点云的数据结构，主要包含时间戳数据和 N 线点云数据。

最底层的是单个点云的数据结构，它包含了距离信息、空间位置信息和回波强度信息。测量点的坐标既可以使用（ θ ， r ）的极坐标表示，也可以使用（ X ， Y ， Z ）的三维坐标表示。激光雷达输出的位置信息是以激光雷达的零点为原点的，在应用于无人车系统时，需要将坐标转化到车体坐标系。

（2）基于车载激光雷达的目标识别

1）激光雷达目标特征提取。在获得激光雷达点云数据包之后，可以从中提取稳定的典型特征，包括几何特征、形状特征和矩特征等。目标边缘轮廓含有非常丰富的信息量，是目标的显著特征，可以根据目标边缘轮廓图像提取目标的几何特征，主要包括目标的长度、宽度、高度、周长和面积等。形状特征，主要包括矩形度、圆形度、形状描述子（微分链码、傅里叶描述子）等。矩特征反映了目标距离像和强度像相对于质心的统计分布情况，主要包括中心矩、几何不变矩、线矩、Zernike矩、谱矩等。

2）激光雷达目标分类识别。为了达到高可靠性的分类识别，需要采用现代模式识别理论和方法对激光雷达目标进行分类。可以采用的模式分类方法包括模糊模式匹配分类方法、基于统计的模式分类方法、基于神经网络的模式分类方法、基于支持向量机的模式分类方法、基于模型的模式分类方法和基于知识库的模式分类方法等。

3）激光雷达自动目标识别性能评估。可以从识别的正确性、识别的稳健性和识别的代价三个方面来构建激光雷达自动目标识别性能指标体系。可以采用结合主、客观赋权法的组合赋权法来确定激光雷达自动目标识别性能指标体系的权重，实现主、客观赋权方法的优势互补。可以采用加权平均评估模型和距离综合评估模型对激光雷达自动目标识别算法和系统进行评估。通过确定典型影响因素的范围，可以建立基于典型影响因素的性能评估环境，对不同的激光雷达自动目标识别算法和系统进行评估。

5.车载激光雷达系统的应用

（1）高级驾驶辅助系统（Advanced Driving Assistance Systems, ADAS）

高级驾驶辅助系统是利用各种车载传感器，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶人察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。激光雷达作为一种高效传感器，可以应用在以下ADAS中：

1）自适应巡航控制（Adaptive Cruise Control, ACC）系统。

2）自动紧急制动（Autonomous Emergency Braking, AEB）系统。

3）行人检测系统（Pedestrian Detection System, PDS）系统。

（2）无人驾驶技术

激光雷达作为无人车的“眼睛”，具有精准的测距、空间定位与描述、可靠的障碍物检测等能力。它通过提供精确的3D环境信息，帮助无人车决策。高级别的自动驾驶技术必须搭载激光雷达已经成为行业内的广泛共识。激光雷达在无人驾驶的两个核心包括3D建模进行环境感知和SLAM加强定位。

1）3D建模进行环境感知。激光雷达空间分辨率高、测距精度高，无人驾驶技术中经常应用激光雷达对空间环境进行精确测量，基于激光雷达数据可以识别测试场景中的道路、车辆、行人、障碍物及交通基础设施等信息。激光雷达路测实时点云如图3-101所示。

另外，激光雷达数据可以与其他传感器数据进行融合，充分利用不同传感器的优势，实现传感器互补及冗余，提高自动驾驶的安全性。图3-102所示为激光雷达点云与摄像头数据融合示例，激光雷达精度高能够直接获取距离信息，摄像头分辨率高能够识别色彩信息，利用这两种传感器的融合数据进行识别，为自动驾驶汽车提供了一个更强大的环境感知工具。

2）即时定位与地图构建（Simultaneous Localization and Mapping, SLAM）。激光雷达在无人驾驶中的另一大用途是即时定位与地图构建，即SLAM。SLAM最早在机器人领域提出，是指从未知环境的未知地点出发，在运动过程中通过重复观测到的环境特征定位自身位置和姿态，再根据自身位置构建周围环境的增量式地图，从而达到即时定位和地图构建的目的。

SLAM按照传感器种类可以分为激光SLAM和视觉SLAM。激光SLAM使用激光雷达数据，该方案研究比较成熟，误差模型及算法相对简单，而且计算性能需求较低，图3-103所示为基于激光雷达的SLAM数据图。

3.2.4 超声波雷达

1.超声波雷达的原理

超声波雷达是利用超声波的特性研制而成的雷达。超声波是一种振动频率高于声波的机械波，是由换能晶片在电压的激励下发生振动产生的，具有频率高、波长短、绕射现象小，特别是方向性好、能够成为射线而定向传播等特点。超声波对液体、固体的穿透能力很强，尤其是在阳光不透明的固体中，它可穿透几十米的深度。超声波碰到杂质或分界面会产生显著反射，形成反射回波，碰到活动物体能产生多普勒效应。因此，超声波检测广泛应用在工业、国防、生物医学等方面。以超声波作为检测手段，必须产生超声波和接收超声波，完成这种功能的装置就是超声波雷达，习惯上称为超声换能器或者超声探头。超声波雷达包括发送雷达和接收雷达，通常发送雷达工作于输出最大的串联谐振频率，而接收雷达工作于接收灵敏度最高的并联谐振频率；通过试验发现，发送雷达的串联谐振频率与接收雷达的并联谐振频率几乎一致。因此，超声波雷达在实际应用时，都是在谐振频率附近使用。超声波接收头必须采用与发射头对应的型号，关键是谐振频率要一致，否则将因无法产生共振而影响接收效果，甚至无法接收。另外，超声波雷达具有高阻特性，驱动电流小，要求驱动电压较高，是电压驱动型雷达。

超声波测距的原理一般采用飞行时间法ToF，也可以称为回波探测法，如图3-104所示。超声波发射器向某一方向发射超声波，从发射时刻开始计时，超声波在介质中传播，途中碰到障碍物就立即返回来，超声波接收器收到反射波就立即停止计时。根据传声介质的不同，可分为液介式、气介式和固介式三种。根据所用探头的工作方式，又可分为自发自收单探头方式和多发多收多探头方式。

超声波雷达的主要性能指标包括：

（1）工作频率

工作频率就是压电晶片的共振频率。当加到压电晶片两端的交流电压的频率和晶片的共振频率相等时，输出的能量最大，灵敏度也最高。

（2）工作温度

由于压电材料的居里点一般比较高，特别是诊断用超声探头使用功率较小，因此工作温度比较低，可以长时间地工作而不失效。医疗用超声探头的温度比较高，需要单独的制冷设备。

（3）灵敏度

灵敏度主要取决于制造晶片本身。机电耦合系数大，灵敏度高；反之，灵敏度低。

2.超声波雷达的分类

通用型超声波雷达的带宽一般为几千赫兹，并有选频特性。MA40A3S（发送雷达）与MA40A3R（接收雷达）的频率特性如图3-105所示。

开路时，雷达输出电压较高，但阻抗也高，易受噪声的影响，通常要接入几千欧姆到几十万欧姆的电阻 R _L 。通用型超声波雷达的频带窄，但灵敏度较高，抗干扰性强。它的接收雷达与发送传雷达是分开使用的。

（1）宽带型超声波雷达

在多通道中使用时，采用宽频带雷达较为方便，宽带型超声波雷达在工作带宽内具有两个谐振频率，其频率特性就相当于两种雷达的组合。因此，在很宽的频带范围内，具有较高的灵敏度。因为宽带型超声波雷达具有两个谐振点，所以一个雷达可兼作接收雷达与发送雷达。

（2）密封型超声波雷达

密封型超声波雷达对环境的适应性较强，可应用于汽车后方检测物体的装置及待时计算器等。

（3）高频型超声波雷达

高频型超声波雷达的反射角较小，检测范围在20～100cm，其中心频率可达200kHz，可以进行较高分辨率的检测。

3.车载超声波雷达的应用

车载超声波雷达一般安装在汽车的前后保险杠上方，隐藏在保险杠的某个位置，如图3-106所示。

（1）泊车盲区监测

驾驶人将变速杆换到倒车位后，倒车雷达自动启动，倒车雷达探头向后发射超声波信号。经障碍物反射，由倒车雷达探头收集，进行放大和比较，再由单片机将此信号送入显示模块，同时触发语音电路，发出同步语音提示，当汽车与障碍物的距离小于所设定的安全距离时，便通过语音集成电路发出不同的报警声，提醒驾驶人减速或停车，防止汽车的碰撞或擦伤，具有很强的实用性。倒车雷达系统占盲区范围示意图如图3-107所示。

（2）自动泊车系统

目前，泊车辅助系统常用的车载测距方法主要包括红外测距、激光测距、毫米波测距、机器视觉测距、超声波测距等。相比于其他方法，超声波具有穿透力强、衰减小、反射能力强，对光照、色彩、电磁场不敏感，不易受恶劣天气影响等特点，而且超声波测距原理简单、成本低。自动平行泊车示意图如图3-108所示。

自动泊车系统可以使汽车自动地以正确的停靠位泊车，该系统包括环境数据采集系统、中央处理器和车辆策略控制系统。环境数据采集系统包括图像采集系统和车载超声波距离探测系统，可采集图像数据及周围物体与车身的距离数据，并通过数据线传输给中央处理器；再将采集到的数据分析处理后，得出汽车的当前位置、目标位置以及周围的环境参数，依据上述参数做出自动泊车策略，并将其转换成控制指令信号；车辆控制策略系统接收控制指令信号后，依据指令做出汽车的自动转向、制动、驱动等方面的操控，使车辆安全平稳地自动泊车入位。在近几年，越来越多的高档进口车都将该配置列为标配，甚至已出现在了国产车上。

清华大学苏州汽车研究院发明了一种基于超声波雷达的泊车辅助系统（CN105242276A）。该系统解除驾驶人泊车和起动车辆时前后左右探视所带来的困扰，帮助驾驶人扫除视野死角和视线模糊的缺陷，提高了驾驶的安全性、智能性，且更具人性化特点。该系统采用的技术方案：超声波雷达模块为在汽车的前、后保险杠处各安装的若干超声波雷达，用以实时获取车辆前后的障碍物信息，并发送到电路模块；ECU电路模块控制超声波雷达模块的超声波的发射和接收，将超声波雷达模块接收的脉冲信号转换为最终的障碍物距离数据信息，并根据障碍物距离数据信息控制蜂鸣器报警输出模块和显示屏模块工作；根据障碍物距离的远近，由电路模块控制蜂鸣器的音量和鸣叫方式；显示屏模块利用泊车辅助系统的显示屏幕，实时显示车辆参数信息、车辆周围的障碍物信息数据及画面，并以不同的颜色区域来标记不同的距离范围。

3.2.5 V2X

1.V2X概述

为了提升交通系统的安全性和智能化，智能交通系统的概念正逐渐兴起。智能交通可以利用新一代的通信网络和数据处理能力，提高现有交通系统的整体效率，降低能量损耗，增加运输的安全和便捷程度。

近年来智能交通系统的开发将主要集中在智能公路交通系统领域，也就是俗称的车联网。其中V2X技术借助车与车、车与路侧基础设施、车与路人之间的无线通信，实时感知车辆周边状况进行及时预警成为当前世界各国解决道路安全问题的一个研究热点。据报道，V2X技术可帮助预防80%各类交通事故的发生。智能公路交通系统如图3-109所示。

按照我国汽车工业协会对搭载V2X功能汽车的定义来看，它是搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与X（人、车、路、后台等）智能信息的交换共享，具备复杂的环境感知、智能决策、协同控制和执行等功能，可实现安全、舒适、节能、高效行驶，并最终可替代人来操作的新一代汽车。

与自动驾驶技术中常用的摄像头或激光雷达相比，V2X拥有更广的使用范围，具有突破视觉死角和跨越遮挡物的信息获取能力，同时可以和其他车辆及设施共享实时驾驶状态信息，还可以通过研判算法产生预测信息。另外，V2X是不受天气状况影响的车用传感技术，无论雨、雾或强光照射都不会影响其正常工作。

此外，在传统智能汽车信息交换共享和环境感知的功能之外，V2X还强调了“智能决策”“协同控制和执行”功能，以强大的后台数据分析、决策、调度服务系统为基础。而且要实现自动驾驶，车辆必须具备感知系统，像人一样能够观察周围的环境，因此，除了传感器，V2X技术也属于自动驾驶的一个感知手段。

V2X环境感知如图3-110所示。

作为物联网面向应用的一个概念延伸，V2X车联网是对D2D（Device to Device）技术的深入研究过程。它指的是车辆之间，或者汽车与行人、骑行者及基础设施之间的通信系统。利用装载在车辆上的无线射频识别技术、传感器、摄像头获取车辆行驶情况、系统运行状态及周边道路环境信息，同时借助GPS定位获得车辆位置信息，并通过D2D技术将这些信息进行端对端的传输，继而实现在整个车联网系统中信息的共享。通过对这些信息的分析处理，及时向驾驶人进行路况汇报与警告，有效避开拥堵路段，并选择最佳行驶线路。

V2X车联网通信主要分为三大类：V2V、V2I和V2P。运输实体，如车辆、路侧基础设施和行人，可以收集处理当地环境的信息（如从其他车辆或传感器设备接收到的信息），以提供更多的智能服务，如碰撞警告或自主驾驶。

2.V2X技术与动态

V2X通信技术目前有DSRC与LTE V2X两大路线。DSRC发展较早，目前已经非常成熟，不过随着LTE技术的应用推广，未来在汽车联网领域也将有广阔的市场空间。

（1）率先出击的DSRC

车用环境无线存取（WAVE）、专用短程通信（DSRC）是IEEE 802.11p底层通信协议与IEEE 1609系列标准所构成的技术，采用5.9GHz频段，并具备低传输延迟特性，以提供车用环境中短距离通信服务。IEEE 802.11p解决在高速移动环境中数据的可靠低时延传输问题，IEEE 1609系列标准对V2X通信的系统架构、资源管理、安全机制等进行阐释。

DSRC是联结车辆与车辆（V2V）、车辆与路侧装置间的RF通用射频通信技术，在车用环境中提供公共安全和中短距离通信服务。各个国家分配的DSRC使用频段各不相同。1999年，美国联邦通信委员会（FCC）决定将5.9GHz（5.850～5.925GHz）频段分配给汽车通信使用。主要目标是使公共安全应用能够挽救生命并改善交通流量。FCC还允许在本领域提供私人服务来降低部署成本，并鼓励快速开发和采用DSRC技术和应用。美国DSRC频谱和频道如图3-111所示。

美国5.9GHz DSRC的频段规划，以10MHz频宽为单位，将75MHz频宽划分成七个频道，并由低频至高频分别给予172、174、176、178、180、182与184频道编号。如图3-112所示，频道178为控制频道（CCH），剩余的六个频道为服务频道（SCH），其包含两个公共安全专用服务频道（频道172为车辆与车辆间公共安全专用服务频道，频道184为交叉路口公共安全专用服务频道）、两个中距离公共安全/私用共享服务频道（频道174与176），以及两个短距离公共安全/私用共享服务频道（频道180与182）。

WAVE/DSRC所表示的即是IEEE 802.11p与IEEE 1609系列标准所构成的DSRC技术。与其他DSRC技术相比，WAVE/DSRC具有低传输延迟（0.0002s）、高传输距离（1000m）与高传输速度（27Mbit/s）等特性。在车辆行驶过程中，驾驶人需要对周围环境的变化做出快速判断，为了提高驾驶安全性，减少交通事故的发生，车辆间的通信时延显得尤为重要。

WAVE/DSRC技术底层采用IEEE 802.11p标准，上层则采用IEEE 1609系列标准。对应至开放系统互联参考模型（OSI Reference Model），IEEE 802.11p标准制定实体层（PHY）与资料链接层中的媒介存取控制层（MAC）的通信协定，而媒介存取控制层中的多频道运作（Multi-Channel Operation）至应用层的通信协定则由IEEE 1609各个子标准所规范制定。WAVE/DSRC系统的标准架构如图3-113所示。

这里需要指出的是，IEEE 1609.2标准规范WAVE/DSRC系统中所使用的安全信息格式和处理程序，包括安全WAVE管理信息机制与安全应用信息机制，同时也描述支援核心安全所需的管理功能。WAVE/DSRC应用中的安全问题往往是最值得关注的，这些应用所提供的服务都必须具有抵御窃听、伪造、修改与重送攻击的能力。

（2）后来者居上的LTE V2X

早在3G时代，国际通信业界已经联合整车厂开展了基于移动通信网络的V2V/V2I试验项目。启动于2006年的CoCar项目，参与公司包括爱立信、沃达丰、MAN Trucks、大众等，演示了在高速行驶的车辆之间通过沃达丰的3G蜂窝网络传送关键安全告警消息的应用，当时做到了端到端时延低于500ms。之后爱立信、沃达丰、宝马、福特又启动了CoCarX基于LTE网络的紧急消息应用性能评估，端到端系统时延在100ms以下。欧盟于2012年资助了LTEBE-IT项目，开展LTE演进协议在ITS中的应用研究。

LTE V2X针对车辆应用定义了两种通信方式：集中式（LTE-V-Cell）和分布式（LTE-V-Direct）。集中式也称为蜂窝式，需要基站作为控制中心，集中式定义车辆与路侧通信单元及基站设备的通信方式；分布式也称为直通式，无需基站作为支撑，在一些文献中也表示为LTE-Direct（LTE-D）及LTE D2D，分布式定义车辆之间的通信方式。LTE-V车联网解决方案如图3-114所示。

相比DSRC技术，LTE V2X可以解决前者在离路覆盖、盈利模式、容量及安全等各方面存在的问题。它的部署相对容易，频谱带宽分配灵活，传输可靠，覆盖广且随着3GPP持续演进，可支持未来ITS业务需求。然而，LTE V2X的缺点也同样突出：标准尚在制定过程中，技术成熟度较低，面向车-车主动安全与智能驾驶的服务性能还需要充分的测试验证。

2015年2月和6月，3GPP的SA1和RAN1工作组分别设立了专题“LTE对V2X服务支持的研究”和“基于LTE网络技术的V2X可行性服务研究”，标志着LTE V2X技术标准化研究的正式启动。

3GPP在2016年9月已经完成了对其首份蜂窝车联网技术标准的制定工作，并在3GPP RAN会议上将其纳入LTE Release 14中。它主要聚焦于V2V（车到车通信），是基于LTE Release 12及LTE Release 13所规范的邻近通信技术中的D2D（终端设备间直接通信），但是引入了一种新的D2D接口——PC5。作为3GPP V2V WI的一部分，PC5接口主要用于解决高速（最高为250km/h）及高节点密度（成千上万个节点）环境下的蜂窝车联网通信问题。最新消息是，3GPP关于所有LTE V2X的标准R14，其中包括应用层、网络层、接入层所有的标准体系都已经完备，现在只等国内标准的落地。

早在2012—2013年期间，大唐电信集团提出了LTE-V解决方案的概念并在其中积极扮演着推手的作用。华为、乐金电子（LGE）与大唐电信集团共同主导了3GPP研究，中国通信标准化协会已经针对LTE V2X推出了工作项目。

2016年11月，工业和信息化部无线电管理委员会批复5905～5925MHz总共20MHz用于LTE-V直连技术试验验证。批复明确指出，这20MHz频谱作为试验频谱仅用于LTE V2X直连技术的试验验证，其中包括功能性测试和不同无线电应用间兼容性试验研究。在第二阶段试验中，工业和信息化部先后明确了3.5GHz、4.9GHz频段中的各200MHz频率，属于5G技术研发试验。

2017年9月中旬，中国智能网联汽车产业创新联盟正式发布《合作式智能交通系统 车用通信系统应用层及应用数据交互标准》。该标准属于中国汽车工程学会的团体标准，是国内第一个针对V2X应用层的团体标准，为国内各车企及后装V2X产品提供了一个独立于底层通信技术的、面向V2X应用的数据交换标准及接口，以便在统一的规范下进行V2X应用的开发、测试，对V2X大规模路试和产业化具有良好的推动效应。

根据中国汽车工程学会标准，车用通信系统通常可以分为系统应用、应用层、传输层、网络层、数据链路层和物理层，该V2X标准主要关注应用层及应用层与上下相邻两层的数据交互接口。该标准从应用定义、主要场景、系统基本原理、通信方式、基本性能要求和数据交互需求六个方面，已经制定出了17个应用的具体要求，包括通信频率、类型、最大时延、通信距离和定位精度等，详见表3-9。

从表3-9中可以看出，目前的一期应用主要是提供预警功能，相当于是将此前ADAS的预警范围利用V2X的方式进行了扩大。因为目前国内在通信技术上没有规定，国际标准中也针对不同通信技术各有要求，所以标准支持LTE V2X、DSRC、5G三种通信技术，针对高时延低频率类应用，还额外支持4G通信。

目前上海汽车城已按照该标准对国家智能网联（上海）试点示范区封闭测试区和科普体验区的V2X系统进行了软件升级。现已在覆盖封闭测试区的8套V2X路测系统和覆盖科普体验区的10套V2X路测系统以及10辆试验车上部署了支持该标准的V2X应用软件，传输数据内容包括BSM、MAP、SPAT、RSI和RSM五类消息，实现了前向碰撞预警、交叉路口碰撞预警、紧急制动预警、异常车辆提醒、限速预警、弱势交通参与者预警、车内标牌、绿波车速引导、信号灯优先控制等20余类V2X应用。

除上海汽车城之外，工业和信息化部又先后推动在杭州、北京、重庆成立“智能汽车与智慧交通产业创新示范区”，基于LTE-V/5G的通信环境建设，支撑开展智能驾驶、智慧交通相关示范应用。目前国内通信设备厂商已有基于LTE-V架构的原型样机，可进行车路协同实景演示。

3GPP-LTE-V标准研究进展图如图3-115所示。国际国内标准同步推进如图3-116所示。

（3）DSRC与LTE V2X对比

DSRC相比V2X已经有成熟的标准和良好的网络稳定性，但LTE V2X作为后起之秀，正有逐步取代并超越DSRC的趋势。在可用性方面，DSRC具有不依赖网络基础设施（如安全性管理和互联网接入等功能）和自组网的良好特性，因此基于DSRC标准的V2X网络稳定性强，不会由于传输瓶颈和单点故障的原因导致整个系统无法工作。

而在不包含ProSe功能的LTE版本中，LTE V2X需要依赖基础网络设施，在R12以后的版本中，由于LTE加入了ProSe功能后，LTE V2X功能支持在线和离线两种模式，互联网联接不再是必备选项了。另外，由于DSRC使用的是不经过协调的信道接入策略，这种策略无法满足未来V2X对确定性时延的需求，同时DSRC的可靠性和容量比LTE V2X也要差一些。未来随着无人驾驶和互联网汽车的出现，汽车与互联网相连将成为一种常态。由于LTE-V是基于运营商网络建设的，因此LTE V2X后续的发展潜力很大。 aGjLi1uCsFLWFwqCOu2ctfMmk4JSFlBrr0hjO0OWU90M3xR2uJwzQxlmeTGr48zt