下载掌阅APP，畅读海量书库
立即打开
本节将总结图像融合任务中的常见分类及基本概念，以便读者理解后续章节的内容。
图像融合任务具有广泛的研究场景，大致可以分为以下几类：红外和可见光图像融合、医学图像融合、遥感多光谱图像融合及多聚焦图像融合，在各类场景中的输入源图像中，均含有能够互补的有价值信息。其中，红外和可见光图像融合是最为常见的融合情景。具体而言，红外传感器通过检测目标的热量辐射来获得红外图像，并通过图像中目标的亮度高低来反映其表面温度。由于红外传感器所获取的是热量信息，因此红外图像可以很好地捕捉目标的结构与轮廓，且具有优秀的抗干扰能力和高对比度，使其能够在全天候工作，即使在恶劣条件下也能够获得高质量的图像。然而，正因为其只采集热量信息，有时红外图像的清晰度和视觉效果可能并不理想，因此并不适宜进行人眼观察。与此相反，可见光图像是通过测量目标对可见光的反射来获取的。可见光图像与人类视觉系统相匹配，具有丰富的光谱信息和清晰的边缘细节。然而，在较差的环境和光照条件下，可见光图像的成像质量可能会受到影响，其抗干扰性较差。综上所述，红外图像和可见光图像各自具备独特的优势和劣势，呈现出显著的互补性。为此，将红外图像和可见光图像进行融合，可得到兼具强大抗干扰性和卓越视觉效果的综合图像。融合后的图像不仅在视觉效果上更为优越，还能同时展示可见光图像提供的细节纹理信息，以及红外图像提供的热量信息，更详细地描述成像场景。医学图像融合更注重凸显融合图像中组织结构的表示，如将磁共振成像图像和正电子发射断层扫描图像融合。遥感多光谱图像融合的输入往往是多幅源图像，以将多个波段的遥感图像信息融合，在融合过程中相对关注纹理结构。多聚焦图像融合是为了融合由成像设备所获得的聚焦点不同的图像，最终获得全聚焦清晰图像。在各类场景中，图像融合算法均期望能挖掘出不同源图像中的有价值信息，并将这些信息和谐统一地在融合图像中呈现出来，故针对不同使用情景，往往需要设计不同的算法。
在卷积神经网络得到广泛关注之前，传统图像融合算法依赖手工提取特征和设计融合规则实现。主要手段包括基于多尺度分解的融合、基于稀疏表示的融合、基于子空间的融合及基于显著性的融合等。基于多尺度分解的融合方法通常包括三个步骤：多尺度分解、按一定规则融合分解出的分量、使用融合后的分量重构图像 [6] 。基于稀疏表示的融合首先对大量图像进行学习，获取一个过完备的字典，然后使用该字典对源图像进行稀疏编码和融合 [7] 。基于子空间的融合则提取源图像的公共子空间特征进行融合。而基于显著性的融合则以显著性检测结果为导向完成融合。然而，这些传统方法难以处理复杂的融合场景，且往往无法克服多幅源图像之间的域差异。目前，主流的基于卷积神经网络的图像融合方法可分为两类：基于基础卷积神经网络的方法和基于生成式对抗网络的方法。基于基础卷积神经网络的方法采用多种思路，如通过卷积神经网络预测每幅源图像的权重，然后进行加权融合；有的方法则直接使用卷积神经网络分解提取图像特征，然后直接进行重建完成融合。而基于生成式对抗网络的方法则利用生成器和判别器之间的博弈进行融合。具体而言，生成器用于生成融合图像，而判别器需要判别输入的图像是来自源图像还是融合图像。当生成器的结果足以欺骗判别器，使其难以区分时，说明融合结果成功克服了源图像之间的域差异。
相较于图像融合任务，目标识别任务的具体使用场景更为广泛，难以全面论述，本书将着重讨论遥感目标识别这一难度较高、应用较广、研究较多的使用场景。本节将介绍遥感图像识别的基本概念及常见分类。
遥感是利用卫星、飞机等平台上的成像设备采集地球表面或近地空间的图像，探测和识别地球资源和环境信息的技术 [8] ，针对遥感图像的目标识别在船舶交通服务、渔业管理，尤其是军事战争中发挥着至关重要的作用。不同于普通光学图像，遥感图像是由成像设备客观真实地记录和反映地表物体电磁辐射强度，并按照一定比例远距离采集得到的地表丰富信息，具有诸多特点。首先，遥感图像受遥感设备的限制及所处的外部拍摄环境的影响，常会出现目标轮廓面模糊、形状结构复杂、图像明暗不一等问题，对遥感图像的目标识别带来较大的难度。其次，遥感图像中的目标往往小且密集排列。最后，遥感图像训练真值的人工标注成本高、训练数据集相对较少。因此，遥感图像识别算法应该针对遥感图像自身特点来调整算法设计重心。
传统的目标识别算法人工设计方案在提取图像的纹理、梯度、频率等特征后，再利用支持向量机等分类器完成种类识别。随着卷积神经网络的发展，人们可以依靠卷积神经网络强大的特征提取能力进行目标识别，因此在最近的研究中，研究重心往往倾向于如何设计更优秀的网络框架，提取更优良的特征表示。故基于卷积神经网络的目标识别算法，可以高度凝练为特征提取-特征分类的流程。