下载掌阅APP，畅读海量书库
立即打开
本节将详细总结传统的非聚焦模糊检测方法和基于深度学习的非聚焦模糊检测方法的研究历史和关键工作，并介绍非聚焦模糊检测领域的研究现状。
在非聚焦模糊检测任务出现初期，非聚焦区域通常依赖于手工特征提取，包括图像梯度、频率等低层次的局部信息。在一张图像上，对于每个像素点来说，它与周围像素点的值相差越小，图像的纹理越不明显，即该图像的清晰度越差。手工特征提取不满足于对简单的像素点求差，其改进为求二次梯度、图像频率等，提高了对图像清晰程度判定的准确性和可靠性。基于梯度的方法出发点是聚焦区域比非聚焦区域的梯度更大，可以根据像素点对应的梯度值判断像素点对应的位置是否属于非聚焦区域。XU等人 [8] 分析了非聚焦模糊区域的局部秩和其模糊量之间的关系，并提出了一种基于不同方向对应局部块最大秩来预测边缘处的非聚焦模糊量，从而得到一张完整的非聚焦模糊检测图。PANG等人 [9] 提出了一种新的核特征向量来预测非聚焦模糊检测图，该特征向量由滤波后模糊核的方差和图像块的梯度方差的乘积构成。基于频率的方法出发点是清晰图像比模糊图像的高频分量更多，可以根据图像某区域中高频分量的比例来衡量该区域的清晰度，进而区分聚焦区域与非聚焦区域。SHI等人 [10] 结合了图像梯度、傅里叶域和局部滤波器来表示非聚焦模糊特征，从而区分非聚焦区域和聚焦区域。ALIREZA等人 [11] 设计了一种基于梯度幅度的高频多尺度融合和排序变换方法来计算非聚焦模糊检测图。
这些基于手工提取特征的传统方法在一些特定的场景中获得了不错的效果，如在模糊程度较均匀或纹理信息较单一的场景中效果较好。然而，这些方法只能使用低层次的局部感知特征，缺少高层次语义信息的指导，很难应对各种非聚焦模糊场景的挑战。
近些年来，受益于深度卷积神经网络（DCNN）强大的特征表示能力，基于深度学习的非聚焦模糊检测方法有了一些新的进展。ZENG等人 [12] 基于多个卷积神经网络的特征学习，首先以监督的方式在图像的超像素级别自动学习局部相关特征，通过从训练好的神经网络结构中提取卷积核来进行主成分分析及处理，然后通过重塑主成分向量来自动获得局部锐度度量，最后利用双曲正切函数的内在特性，提出了一种有效的迭代更新机制，将非聚焦模糊检测结果从粗到细细化。TANG等人 [13] 提出了一种可以反复融合和细化多尺度深度特征的深度神经网络用于非聚焦模糊检测。ZHAO等人 [14] 提出了一种方向上下文启发网络，可以有效地利用方向上下文，首先通过用恒等矩阵初始化的循环神经网络提取方向上下文，对特征图进行加权，并将它们集成到两组集成方法中，从而可以生成粗略的非聚焦模糊检测（Defocus Blur Detection，DBD）图；然后通过引导非聚焦模糊检测图与源图像进行水平集成，并逐步细化非聚焦模糊检测图。WANG等人 [15] 使用新的端到端深度神经网络开发了一种准确、快速的运动模糊和非聚焦模糊检测方法，首先提出了一种新颖的多输入多损失编码器-解码器网络来学习与模糊相关的丰富层次表示；然后为了解决模糊度易受尺度影响的问题，构建了一个由不同尺度的M形子网和统一融合层组成的金字塔集成模型。TANG等人 [16] 提出了一种DCNN，用于通过双向残差细化网络进行非聚焦模糊检测，首先设计了一个残差学习和细化模块来纠正中间非聚焦模糊图中的预测误差；然后通过将多个残差学习和细化模块嵌入其中来开发具有两个分支的双向残差特征精炼网络，以循环组合和精炼残差特征，网络的一个分支将残差特征从浅层细化到深层，另一个分支将残差特征从深层细化到浅层。低层空间细节和高层语义信息都可以在两个方向上逐步编码，以抑制背景杂波并增强检测到的区域细节；最后融合两个分支的输出以生成最终结果。ZHAI等人[17]引入了一个全局上下文引导的分层残差特征细化网络，用于从自然图像中进行非聚焦模糊检测，使低级精细的细节特征、高级语义和全局上下文信息以分层方式聚合，以提高最终的检测性能。为了减少复杂背景杂波和没有足够纹理的平滑区域对最终结果的影响，ZHAI等人设计了一个基于多尺度扩张卷积的全局上下文池模块，首先从主干特征的最深特征层捕获全局上下文信息提取网络，然后引入全局上下文引导模块，将全局上下文信息添加到不同的特征细化阶段，以指导特征细化过程，此外考虑到非聚焦模糊对图像尺度的敏感，该网络添加了一个深度特征引导融合模块来整合不同阶段的输出以生成最终的分数图。ZHAO等人 [18] 首次探索了弱监督非聚焦模糊检测的方向，提出了自生成的非聚焦模糊检测生成器，首先以对抗双鉴别器 D c 和 D b 的方式训练生成器 G ， G 通过学习生成一个非聚焦模糊检测掩模，将相应源图像的聚焦区域和非聚焦区域复制到另一个全清晰图像和全模糊图像来生成合成清晰图像和合成模糊图像；然后 D c 和 D b 不能同时将它们与现实的全清晰图像和全模糊图像区分开来，通过隐式方式实现自生成非聚焦模糊检测来定义非聚焦模糊区域是什么。此外，ZHAO等人还提出了一种双边三元组挖掘约束，以避免由一个鉴别器击败另一个鉴别器引起的退化问题。CUN等人 [19] 首次将深度信息引入非聚焦模糊检测，并将深度信息视为非聚焦模糊检测的近似软标签，提出了一种受知识蒸馏启发的联合学习框架，首先从地面实况中学习非聚焦模糊和从训练有素的深度估计网络中提取深度，锐利区域将为深度估计提供强大的先验，而模糊检测也能从蒸馏深度中受益。
本节将详细总结传统的非聚焦去模糊方法和基于深度学习的非聚焦去模糊方法的研究历史和关键工作，并介绍非聚焦去模糊领域的研究现状。
在去模糊任务的早期，去模糊问题的研究多聚焦于非盲去模糊，此时假设使图像模糊的模糊核是已知的，进而研究模糊的逆过程。例如，经典的Lucy-Richardson去模糊方法，通过使用已知的模糊核进行卷积操作，来一步步迭代使图像逐步清晰。盲去模糊不可知模糊核，相对来说更具有研究价值。例如，XU等人 [20] 使用空间先验和迭代支持检测来获取模糊核以进行去模糊。还有部分方法先估计非聚焦模糊检测图，再进行反卷积操作以去模糊。SHI等人 [21] 建立了稀疏边缘表示和模糊强度之间的对应关系，以获取非聚焦模糊检测图。
上述传统的去模糊任务在特定情况下展现出不错的效果，然而在更多常见的场合中并不适用。近年来，随着深度学习技术的发展，越来越多基于深度学习的端到端去模糊方法被提出。例如，ABUOLAIM等人 [22] 首次实现用于非聚焦去模糊的端到端网络。他们构建了一个双像素图像数据集，并制定了显式的训练测试协议。LEE等人 [23] 通过借助双像素立体图像预测可分离的去模糊滤波器，构建了一个空间变化的非聚焦去模糊框架。SON等人[24]提出了空间变化的逆核来实现对单像素输入图像的非聚焦去模糊。RUAN等人 [25] 构建了一种新的动态残差块，以从粗到细的方式重建清晰的图像。LEE等人 [26] 通过构建具有配对真值的合成模糊图像，并实施域自适应，生成真实虚焦图像的虚焦模糊图。PARK等人 [27] 结合多尺度深度和手工特征对模糊检测图进行估计。此外，还有一些尝试不利用像素级去模糊真值的弱监督方法被提出。LEE等人 [28] 设计了一个端到端的卷积神经网络架构，并设法合成现有图像的非聚焦图来训练网络。KARAALI等人 [29] 介绍了一种局部自适应方案和新的滤波器，以获得更好的映射。SHI等人 [30] 首先学习模糊字典，然后通过模糊特征来构建非聚焦图。ZHAO等人 [31] 提出了一种对抗性促进学习框架，用于联合训练非聚焦检测任务和去模糊任务，以实现两个任务之间的相互指导。