下载掌阅APP，畅读海量书库
立即打开
工业制造过程中，由于繁杂的制造工艺流程，常会在制造的工业产品中产生各种不同的表面缺陷，同时这些产品表面通常表现出不同的纹理模式，如钢铁 [27] 、纺织物 [28] 和薄膜晶体管液晶显示器（thin film transistor-liquid crystal display，TFT-LCD） [29] 等。这些局部的纹理结构破坏即为纹理表面缺陷，如图2-24所示。产品中存在这些缺陷会严重影响使用体验，即为不合格产品。为了保证产品质量，检测其中缺陷至关重要，这是工业生产过程的重要保障。
图2-24 各种纹理表面缺陷
（a）织物；（b）瓷砖；（c）木材
视觉检测（visual inspection）指通过机器视觉系统对不同工业制造产品使用不同的处理算法提取图像特征并进行判别，最后根据结果判断检测产品是否存在缺陷。视觉检测是智能制造的关键技术，首先用工业摄像机获取待测产品的图像信息，然后利用数字图像处理、机器学习、深度学习等方法对采集的图像进行分析检测并得出结论，对自动化生产具有重要意义。
自动光学检测 [30] （automated optical inspection，AOI）采用机器视觉相关技术对待测物体进行在线检测，判断其中是否存在缺陷。其检测流程主要由4个阶段组成：①利用工业摄像机对目标进行成像，需要使用点灯控制模块控制合适的光照，且使用的摄像机需要具有高分辨率、高动态范围等特性以获得清晰的目标图像；②提取待检测区域，并对待检测区域进行诸如滤除噪声、图像增强等预处理操作；③使用基于图像处理或机器学习的缺陷检测算法对待检测区域中的缺陷区域进行精确分割检测；④对检测出的缺陷进行进一步分类，如裂纹、污点等，从而回溯制造过程，改进工艺流程。AOI方法与传统人工检测的方法相比，存在重大技术革新，主要有以下3方面优势：①准确性高，高分辨率、高动态范围的工业摄像机对待测物体表面进行清晰成像，保留表面细节信息且灰度等级高，即使对于难以察觉的细微缺陷也能够很好地检出。②稳定性好，人工检测过程中易受到外界因素干扰以及个人主观情绪影响，同时人眼自身会产生疲劳现象，综合导致检测结构不稳定，而基于AOI的缺陷检测方式，可长时间不间断地稳定运行，同时保证检测结果的一致性。同时，这种非接触的检测方法不会与待测物体表面接触从而引起污染而造成误检测。③成本低，基于机器视觉的AOI方法较传统的人工检测方法，人力成本更加低廉，同时时间消耗也会大幅降低。
AOI方法因其上述优点被广泛应用于工业产品制造流程中。表面缺陷检测算法作为AOI中最为关键的算法备受研究人员关注。尽管不同的检测算法不断被提出，如基于图像处理与机器学习的算法，以及近些年随着深度学习迅速发展，基于深度学习方法的检测算法等，但正确检测工业生产过程中出现的各种各样的表面缺陷仍是一个巨大的挑战。
AOI检测系统在自动化工业生产过程中扮演着重要的角色，作为其中的核心部分，表面缺陷检测算法直接影响了检测系统的稳定性和可靠性。在实际的工业生产场景下，由于场景的复杂性，容易产生各种各样的噪声及光照不均匀等现象影响表面缺陷的正确检测。实际纹理背景复杂多变，没有规律，且纹理表面缺陷具有如下特性：①缺陷种类繁多，如破裂、孔洞、污点等，且在实际生产场景下，不同种类的缺陷难以预测；②缺陷对比度低、亮度不均匀，缺陷常出现在局部区域，易受到光照影响，导致其难以察觉；③缺陷形状、尺度多变，生产过程中产生的缺陷没有规则的形状和固定的大小，但是不同大小的缺陷均会产生不良影响；④缺陷样本少，由于实际生产过程中缺陷样本非常稀缺，导致检测系统中样本出现严重的不均衡。综合以上几点特性，如何对复杂纹理背景中不可预测的缺陷进行精确分割一直是自动化检测的关键和挑战。
在过去几十年间，针对各种各样的工业产品如金属表面、纺织品、TFT-LCD等的视觉检测需求，国内外学者针对纹理表面缺陷检测，研究出了一系列算法。这些缺陷检测算法大致分为两大类：传统方法和基于深度学习的方法。其中，早期对纹理表面缺陷检测的研究主要集中在传统方法，这些检测算法利用基于人工先验设计的模型或特征对采集的图像进行处理，实现对表面缺陷的检测。这类算法对于某些场景下的产品具有较好的检测效果，但由于手工特征表达的泛化能力弱，该类方法往往难以应对不同的检测场景。而基于深度学习的方法由于卷积神经网络对图像具有很强的特征提取能力和泛化性，对工业产品进行的特征表述及建立的模型具有较好的鲁棒性及不同工业产品间的适应性。但此类算法的模型训练过程需要使用大量数据，训练数据量的多少直接决定了其性能的好坏。
传统的纹理缺陷检测方法一般通过纹理分析进行检测，该类方法需要手工设计特征，因此传统方法大多数都是在解决如何提取有用的纹理特征以及进行不同的纹理分析。
由于纹理图像存在一定的重复灰度，大量基于统计的纹理特征被提出来，该类方法利用了从一阶到高阶的不同统计信息，例如直方图统计、共生矩阵和自相关等。Broadhurst等 [31] 提出了一种局部图像区域的直方图统计方法用于分割医学图像，Vujasinovic等 [32] 利用灰度共生矩阵对乳腺瘤图像进行纹理分析，Wood等 [33] 利用自相关性来检测纺织品存在的表面缺陷，虽然此类基于统计的检测方法对于规则纹理表面上对比度较高的缺陷检测效果好，但是对于非规则的纹理表面缺陷难以很好检测。同时由于纹理具有一定的周期性，基于频谱分析的方法同样对纹理能够起到很好的效果。Tsai等 [34] 利用傅里叶变换来重构纺织物纹理从而实现对其中的缺陷进行检测，在频域中使用一维的霍夫变换将高频的频域信息置零，从而将线缺陷滤除，因此重构的图像与原图之间的残差即为中间过程中滤除的缺陷。Aiger等 [35] 将图像变换到频域后，仅保留频域图中的相位信息并转换回空域，从而检测出纹理中不规则的缺陷。Gabor变换和小波变换也是频域中常见的方法，Pang等 [36] 利用实值Gabor函数来进行缺陷检测，基于频谱的方法在频域中进行全局分析，因此对规则纹理表面缺陷能够很好检测，但是无法适用于非规则纹理情况。
传统的视觉检测算法主要采用基于人工先验设计特征来对特定的待测产品进行有针对性的分析，因此一般只能适用于特定的场景，无法扩展到其他场景的检测以及多种不同场景的检测，泛化能力不足。相比于传统方法，基于深度学习的神经网络无论是在特征提取或是数据表达上都超过了一般的传统方法，因此能够在传统方法的基础上进一步提高检测精度。而这些方法中，根据是否需要标签数据进行模型的训练，大致可分为两类：有监督方法与无监督方法。
有监督方法需要大量的数据与标签进行训练学习，主要用于目标检测与语义分割等领域，随着该类方法的发展，研究人员开始将其用于缺陷检测。Liu等 [37] 提出了检测胶囊表面缺陷的区域卷积神经网络方法，通过提取候选框以及使用卷积网络在候选框中检测缺陷，Dong等 [38] 提出了PGA-Net网络结构，利用一个金字塔特征处理不同尺度的缺陷，并与全局语义信息注意力机制网络进行融合，以对表面缺陷进行像素级分割。而在实际工业场景中很难收集大量的缺陷样本，即使能够收集，其标注过程将耗费大量的人力和时间，限制了有监督方法的应用，而不需要大量标记缺陷样本的无监督方法，降低了人工及时间成本，更适用于实际工业生产场景，因此无监督的缺陷检测方法近些年成为了研究的热点话题。Lv等 [39] 提出一种基于背景重构的缺陷检测算法，通过原图与重构图像的残差来检测手机屏幕保护玻璃的表面缺陷，Bergman等 [40] 将结构相似性引入自编码模型中，与重构损失联合约束模型训练，保证纹理结果重构的正确性，其中使用亮度、对比度和结构信息进行结构相似性计算。
目前基于深度学习的视觉检测的算法中，有监督学习方法需要大量的标注缺陷样本，以实现很好的检测效果，无监督学习方法不需要标注样本，但如何仅利用无缺陷样本实现对未知缺陷的高精度检测仍需要进行不断的探索与研究。
传统的视觉检测算法采用人工先验设计的特征或模型进行纹理中缺陷的分析。下面以一种典型的基于频域变换缺陷检测算法——纯相位变换（phase only transform，PHOT） [35] 为例进行介绍。基于频域变换的缺陷检测算法是一种经典的缺陷检测方法，这类方法主要将图像从空域转换到频域中进行相关的滤波或分析后，再转换回到空域实现对缺陷的检测，其基本思想是在频域中对包含缺陷的纹理图像进行处理，分析不同的频域成分从而区分纹理和缺陷。
大部分基于频域变换的纹理缺陷检测算法一般在频域中对图像进行处理，而PHOT方法的核心之处在于其在频域中对幅值及相位的处理。
对于一幅给定的图像，首先通过式（2-24）的离散傅里叶变换将其转换到频域中，得到频域中的一个复数矩阵 F （ u ， v ），其由幅值和相位组成：
在频域中通过式（2-29）对矩阵中的各个复数元素用其对应的幅值进行归一化，以获得输入图像对应的纯相位矩阵，并且通过该归一化操作处理所有的频率成分以消除原图中的规则成分，将有一定规律的纹理成分去除，而保留没有规律的缺陷异常成分。转换到纯相位矩阵后通过式（2-30）离散傅里叶反变换将其转换回空域，通过对处理后的空域图像进行高斯平滑后，求图像的均值与方差，通过一定的阈值来自适应地判断缺陷区域，图2-25给出了一个检测实例。
图2-25 PHOT检测示例
（图源于：Aiger D，Talbot H. The phase only transform for unsupervised surface defect detection.）
相对于传统的视觉检测算法，基于深度学习的视觉检测算法通过卷积神经网络模型来检测缺陷。这里以无监督的卷积自编码算法，基于结构相似性的自编码网络（structural similarity based autoencoders，SSIM-AE） [40] 为例进行介绍。
SSIM-AE视觉检测算法利用无缺陷图片训练卷积自编码网络，训练后的自编码模型可对输入待测图像进行背景重构，且重构误差对无缺陷图片响应较小，但对缺陷或异常区域的响应很大，据此判断出缺陷位置，并进行精确分割。由于传统的卷积自编码网络采用式（2-31）的输入图像
x
与重构图像
间的均方误差
L
2
损失来约束网络进行训练，这种方式仅能表达整体的重构误差，而无法体现出输入图像与重构图像中的结构信息，导致对图像背景中的结构细节无法很好地重构，易产生缺陷漏检。对此，SSIM-AE在原有的均方误差损失的基础上采用了结构相似性的度量约束，从两图像结构上进行相似性重构约束，该结构相似性包括亮度、对比度和结构信息，如式（2-32）～式（2-35）所示，其中
μ
p
、
μ
q
与
σ
p
、
σ
q
分别表示图像均值和标准差，
σ
pq
表示两图像的协方差，
c
1
、
c
2
为常数。将计算得到的三种信息融合成为结构相似性度量指标，并与原
L
2
损失结合从而保证重构精度，提高缺陷的检出率的同时降低误检率。
由于视觉检测具有高准确性、高稳定性、低人力时间成本等诸多优点，其在实际工业生产场景得到了迅速的发展与应用，如在纺织品、零件及新型显示器件等的工业生产制造过程中得到了广泛的应用。
纺织品的生产加工过程中，由于大部分采用自动产线进行快速加工，其中易出现一些细小的问题，导致产生诸如破裂、孔洞、污点等缺陷，从而严重影响纺织品质量，而产品质量是生产企业生存的命脉，因此采用视觉进行快速准确的质量检测是其生产中极其重要的环节，能够及时发现生产设备中存在的问题并进行修复，从而控制残次品的大量生产所造成的成本升高。由于机械加工中一般需要对金属零件进行高速切削、铣削、打磨等操作，其中产生的热量和振动容易对零件产生影响，若存在操作不当时，则零件表面会产生裂纹、刮痕等缺陷，尤其是大型零件的加工更易发生此类情况。而存在缺陷的金属零件无法按照设计承受外界力的作用，容易造成设备故障，严重时甚至产生事故，因此需要在零件加工的过程中对其中可能产生的缺陷进行视觉无接触检测，从而保证零件的正确加工制造，防止后续发生危险。由于新型显示器件的生产环境要求严格，生产流程多，工艺非常复杂，任何细小的失误都会在产品上产生诸如颗粒缺陷、点缺陷、线缺陷、凹坑缺陷、划痕缺陷和Mura缺陷（低对比度显示不均）等，这些缺陷导致产品不合格，严重影响企业生产利润和消费者体验，因此对其中的缺陷进行视觉检测十分重要，能够在保证良品率的同时对工艺进行溯源，综合提升制造企业生产效益。