下载掌阅APP，畅读海量书库
立即打开
现有的LR目标识别方法主要针对人脸或人体行为进行识别。大量阅读小目标相关文献后，作者将该领域的研究思路归纳为图像增强与特征转换。
前面已经提出了几种用于LR面部识别的方法。文献[105]把LR图像和HR图像的特征同时转换为新的特征空间，从而使LR图像的变换特征近似HR图像的相应变换特征。同样，也使用了多维缩放，学习整个脸部的通用变换矩阵，同时改变了LR和HR的面部特征训练图像，使它们之间的距离接近，并且在相同的成像下捕获了两种不同条件下的图像。文献[106]尝试通过使用判别学习，来识别LR的人脸图像。文献[102]提出了蒸馏知识的模型，该模型由HR图像的教师网络和LR图像的学生网络组成，该模型有选择地提取包含信息较多的特征图，以改善LR图像的特征。
在保护隐私的人体行为识别方面，文献[107]提出了全耦合双流时空架构，以提取时空特征，然后将其聚合为健壮的特征，用于人体行为识别。文献[96,108]提出了一种基于双流multi-Siamese的CNNs，将多分辨率的图像嵌入相同的特征空间中，用于人体行为识别。
在识别或者分类之前，基于图像重建的方法尝试重建HR图像的感兴趣区域。这类模型中的每种方法，都提出了基于关系的超分辨率重建技术，并且学习了HR图像空间与LR图像空间之间的关系。文献[109]提出了一种跨域图像超分网络，用来恢复图像细节，并增强LR图片的质量。在文献[98-110]中，由LR图像生成了逼真的用于分类任务的HR图像。该技术的主要缺点是上述方法是重建出来的超分辨率图像，可能包含严重的失真区域，尤其是在原始图像分辨率十分低的情况下。也就是说，LR图像中严重的信息损失，使基于CNNs的分类器无法从LR图像中提取可识别特征。此外，这类方法通常会导致大量的计算和内存消耗，且未针对识别进行优化。
一种更加直接的思路是将LR特征与相应的HR特征同时映射到公共子空间中，最小化两个特征图之间的距离。文献[111]提出了通过多尺度共享特征的判别学习，来解决LR的行人重识别问题。文献[112]首次尝试使用深度学习，来解决极低分辨率图像的识别问题。文献[113]提出了一种深度耦合的ResNet，该方法通过在支干网络中不同分辨率下的人脸图像，提取判别式。文献[114]提出了一种通过耦合学习稀疏图像变换的算法，来学习HR和LR空间图像对的稀疏图像变换。文献[115]建议多任务深度模型、学习人脸超分辨率和使用生成对抗网络进行面部关键部位定位可同时进行。
基于特征转换方法的核心思想是缩小HR特征和LR特征之间的差距。因此，需要学习什么特征和如何使用上述特征是影响LR图像分类器性能的主要因素。换句话说，理想的特征应该由HR生成器产生，由判别器和LR图像分类过程引导。本章提出的方法遵循了这一核心思想。