下载掌阅APP，畅读海量书库
立即打开
多源图像融合任务在医疗诊断 [1] 、遥感测绘 [2] 、安全和监控 [3] 等领域具有广泛应用。该任务旨在整合多幅图像的互补信息以生成信息量更多的图像。举例来说，由场景的反射光拍摄的可见光图像包含丰富的纹理细节。与之互补的是，通过热辐射呈现出的红外图像具有较强的抗干扰能力（如防烟雾、防夜间低光）。然而，红外图像中缺乏详细的结构信息。在深度学习领域，特征表示学习是指通过神经网络学习输入数据的一种表示形式，它能够更好地捕捉数据的结构和特征。通过多层神经网络学习数据的层次化特征表示，使得网络能够自动地发现和提取数据中的有用特征。因此，本章将通过特征表示学习的方式整合多源图像的重要信息，从而构建出高质量的融合图像。
本章提出的多源图像融合任务将解决两个具有挑战性的问题：第一，针对红外和可见光图像融合过程中出现的重要信息退化现象。第二，单个领域的特定特征融合会导致其他领域应用程序的性能有限。针对第一个问题，在3.2节中，设计了交互式特征嵌入的图像融合网络 [4] 。首先利用重建任务进行特征提取并保留更多源图像的重要特征，其次将融合和重建任务进行特征交互式嵌入，逐步提取重要信息表示并促进融合任务。针对第二个问题，在3.3节中，设计了联合特定和通用特征表示的图像融合网络 [5] 。通过学习领域特定和领域通用特征表示，实现了多领域图像融合通用框架，降低了手动选择的成本。在3.4节中，对上述算法进行了总结，并提出了算法的适用场景。