图像融合和目标识别作为计算机视觉领域基础且关键的研究方向,其重要性日益凸显。图像融合技术旨在整合来自多个传感器的图像信息,以提高综合信息的质量和可用性。这种整合在实际应用中,尤其是在资源调查、环境监测和军事国防等领域,发挥着至关重要的作用。目标识别任务需要精准地区分物体的具体类别,这是计算机视觉任务中不可或缺的一环,也是诸如目标检测等高级任务的基础。本书总结了多年来图像融合和目标识别技术的研究成果和最新进展,着重介绍了多种图像融合及遥感目标识别的算法成果。通过系统地呈现这些技术在科学研究中的现状和在实际工程中的应用,旨在为读者树立对图像融合和目标识别领域的基本认知,并激发其对图像融合和目标识别领域的兴趣和启发。本书的结构框图如图1.2所示。
图1.2 本书的结构框图
第2章:卷积神经网络。
卷积神经网络作为一种深度学习模型,以其卓越的图像处理和模式识别能力成为人工智能领域的一颗明星。卷积神经网络的研究历程源远流长,起源于对人工神经网络的探索,逐步演进至今日复杂而高效的网络结构。本章将带领读者探索以人工神经网络为始的卷积神经网络的发展历史,介绍卷积神经网络的基本结构和组成,并探讨一些具有代表性的经典卷积神经网络。通过对卷积神经网络的全面介绍,读者将更好地理解其在当今人工智能领域中的重要性和广泛应用,并为后续相关章节的理解奠定基础。
第3章:特征表示学习的多源图像融合。
特征表示学习是图像融合任务中的重要环节,更好的特征往往代表着对源图像有价值信息的高度概括。因此,本章着重于通过特征表示学习的方式整合多源图像的重要信息,从而构建出高质量的融合图像。围绕着图像融合中重要信息退化,以及单个领域的特定特征融合会导致其他领域应用程序的性能有限这两个重要问题,本章提出了交互式特征嵌入图像融合网络、联合特定和通用特征表示的图像融合网络,两者均在特征表示学习方法上进行了深入设计,并进行了充分实验以证明方法的有效性。
第4章:多域特征对齐的多源图像融合。
为了令图像融合产生的融合图像能有效提高后续视觉任务性能,本章将目光放在了目标检测任务和图像融合任务的联合训练上。然而,目标检测特征与图像融合特征存在一定的域差异,难以兼容。为此,本章探索了多域特征对齐方法,并提出了自监督特征自适应的图像融合网络和基于元特征嵌入的图像融合,利用元学习和自监督学习的特性完成了更优秀的联合训练。本章还将提供丰富的实验和结果分析供读者参考。
第5章:小样本遥感目标识别。
获取大量标注遥感样本的数据极其耗费人力和财力,因此人们提出了小样本遥感目标识别子任务。该任务需要对有限样本进行充分利用,在数据量稀缺的情境下提高遥感目标识别的性能。本章围绕蒸馏学习这类前沿学习范式,设计了新的协作蒸馏和循环一致性蒸馏方法,进一步提出协作蒸馏的遥感目标识别网络,以及弱相关蒸馏的遥感目标识别网络,有效地完成了小样本条件下的高性能目标识别。与先进方法的对比证明了设计算法的性能。
第6章:复杂样本分布的遥感目标识别。
在同一个数据集中,不同类别的数据分布可能极为不均匀,而对于不同数据集乃至同一个数据集内,由于拍摄条件、设备参数等成像要素的不同,数据集中的样本风格可能也具有较大差异。我们将这类分布情况称为复杂样本分布,可以预想的是,大部分目标识别模型是难以在这样的数据集上进行良好训练的。为此,本章提出了层次蒸馏的长尾目标识别网络和风格-内容度量学习的多域遥感目标识别网络来缓解该问题,并给出了相应的实验设置和结果分析,以证明提出方法克服了复杂样本分布所带来的干扰。
第7章:图像融合和目标识别的实际应用。
本章阐述了图像融合和目标识别技术在工程场景中的实际应用,并给出了系统实现方式和流程框图以供参考。具体而言,本章引入了六种实际应用场景:结合了图像融合的安防监测、火灾识别和行人检测,以及结合了目标识别的舰船识别、灾害探测和海上搜救。
第8章:回顾、建议与展望。
本章对本书的主要内容和研究成果进行了回顾,概括了图像融合和目标识别技术当前面临的问题,并对图像融合和目标识别技术的未来发展及值得关注的未解决课题进行了前瞻性探讨。