由于机器视觉所具有的高效率和高精度优势,以及现代工厂对产品质量记录及可追溯性的需求,机器视觉的发展已经成为一个必然趋势,是人工智能产业中不可或缺的重要一环。本任务将介绍机器视觉系统的构成,分为五个步骤,逐步搭建一个可以获取清晰图像的机器视觉系统,并介绍机器视觉系统中相机与镜头的相关知识。
随着经济水平和科学技术的不断提高,在工业制造的各行各业中逐渐使用机器视觉技术取代人工,提高生产效率并保证产品质量。例如,在物流行业,可以使用机器视觉技术进行快递分拣分类,在减少人工劳动的同时,降低物品的损坏率,提高分拣效率。随着机器视觉在智能制造行业的不断应用,技术上也逐渐走向成熟。
学习并认识机器视觉系统的构成,利用机器视觉相关组件,搭建机器视觉系统,并使用HCvisionQuick机器视觉软件采集清晰图像。
(1)理解机器视觉组件在系统中的作用。
(2)掌握获取清晰图像的方法。
(3)掌握机器视觉的处理流程。
常见机器视觉系统主要分为两类:一类是基于计算机的,如视觉处理器或PC;另一类是更加紧凑的嵌入式设备。典型的基于视觉处理器的机器视觉系统主要包括:光源、工业镜头、工业相机和视觉处理器,如图3-1与图3-2所示。
图3-1 机器视觉系统构成
图3-2 机器视觉系统构成示意图
光源为机器视觉系统提供稳定可靠的照明环境,并使相机成像尽可能地突出检测对象中感兴趣区域的关键特征。它是影响机器视觉系统输入的重要因素,关系到输入数据的质量和应用效果。在工业应用中一般采用LED光源,如图3-3所示。
图3-3 光源
光学镜头能对光线进行聚焦,使得图像传感器感知有效信息。工业应用中主要使用定焦镜头和远心镜头。镜头如图3-4所示。
工业相机主要实现图像信息获取、数字处理和传输。像素分辨率和帧率(数据传输速率)是工业相机选型的关键,相机的选型决定着镜头的选型。相机如图3-5所示。
图3-4 镜头
图3-5 相机
视觉处理器是机器视觉系统的控制中心,它通过光源接口调节视觉光源的亮度,通过网口接收工业相机传输过来的图像数据,通过内置的图像处理软件进行数据分析,然后将判定结果或数据通过I/O接口、串行接口或网口传输至控制机构,由控制机构对检测对象做进一步处理。如图3-6所示。
图3-6 机器视觉硬件系统
汇萃视觉处理器有多个系列,这里介绍一下AQL系列。AQL系列视觉处理器上的各种接口如图3-7所示,包括电源输入接口、USB接口、网口、I/O接口、光源外部触发接口、光源接口、视频显示接口、串行通信接口。
图3-7 AQL系列视觉处理器接口
使用相机、镜头、光源、视觉处理器等机器视觉系统组件,搭建一套机器视觉系统,并通过调节硬件设备获取清晰的图像,如图3-8所示。
图3-8 机器视觉系统搭建完成示意图
活动流程如图3-9所示。
图3-9 搭建机器视觉系统活动流程
准备好机器视觉系统基础组成部分:视觉处理器、相机、六芯线、网线、镜头、光源、光源延长线和支架,如图3-10所示。
图3-10 机器视觉系统硬件部分
(1)连接相机、镜头与光源。
取下相机盖与镜头盖,通过螺纹接口连接相机与镜头,连接好后固定于支架上合适高度处,如图3-11(a)所示。将带螺丝一端的网线连接到相机上并拧紧螺丝固定,网线另一端连接到视觉处理器上相机1接口处,如图3-11(b)、(c)所示。
(a)
(b)
(c)
图3-11 相机与镜头的连接
将六芯线与相机相连接,并插上电源,如图3-12(a)所示。将光源置于镜头下方合适位置处,并利用支架固定,将光源线连接到视觉处理器上光源1接口处,如图3-12(b)、(c)所示。
(a)
(b)
(c)
图3-12 光源的连接
(2)打开软件并新建工程。
接通视觉处理器电源,打开HCvisionQuick机器视觉软件,软件图标如图3-13所示,软件打开后界面如图3-14所示。
图3-13 HCvisionQuick机器视觉软件图标
图3-14 HCvisionQuick机器视觉软件界面
如图3-15所示,点击软件左上角“Prj000_”按钮,选择“新追加”新建一个工程。
图3-15 新追加
点击后界面如图3-16所示,工程名称有固定的格式,如“Prj000_”,“Prj”是工程标头,“000”是工程编号,默认从“000”到“999”,“_”后可自行给工程命名。
图3-16 新建工程
命名完成后点击“确定”,界面如图3-17所示,选择“是”,保存当前工程,界面如图3-18所示,选择“是”,完成工程的新追加,如图3-19所示。
图3-17 保存工程
图3-18 空相机保持
图3-19 新工程
(3)在视觉软件中打开相机与光源。
点击软件左上方的“打开相机”,按钮如图3-20所示,点击按钮后界面如图3-21所示。相机类型中的“HCCAM”是由汇萃自主开发的相机驱动,可兼容各种常见品牌的相机,且能同时兼容多种品牌、多种类型的相机。相机类型选择“HCCAM”,点击“确定”。
图3-20 打开相机
图3-21 相机类型
如图3-22所示,在相机栏会显示所连接相机的IP地址与相机型号,点击“确定”后界面如图3-23所示。若相机栏显示“无”,则点击“重置相机类型”,并重复“打开相机”之后的步骤。
图3-22 打开/关闭相机
图3-23 打开相机后的界面
点击界面左上方“相机设置”,按钮如图3-24所示,点击后界面如图3-25所示。
图3-24 相机设置
图3-25 “相机设置”界面
选择“光源”界面,点击光源1图标后,拖动右侧的亮度条调节光源亮度,如图3-26所示,完成后点击右下方的“关闭”。
图3-26 打开光源
(4)调节镜头获取清晰图像
如图3-27所示,转动镜头上方的光圈环,调节至图像亮度合适。再转动镜头下方的对焦环,调节至图像清晰,如图3-28所示。
图3-27 调节镜头
图3-28 获取清晰图像
如图3-29所示,更换不同焦距的镜头,观察视野的变化。重新调节镜头的光圈环与对焦环,使成像再次明亮、清晰,如图3-30所示。若转动对焦环无法使成像清晰,可在支架上调整镜头到物体的距离。
图3-29 更换镜头
图3-30 调节镜头使成像清晰
在机器视觉系统中,相机与镜头是其硬件部分中的重要组成部分,决定了拍摄图像的视场、精度及成像质量。
相机根据传感器技术的差异可分为CCD和CMOS两种。CCD(Charge-Coupled Device)是指电荷耦合元件,是一种用电荷量表示信号大小,用耦合方式传输信号的探测元件。CMOS(Complementary Metal-oxide Semiconductor)即互补金属氧化物半导体,其工作原理是外界光照射到像素阵列后发生光电效应,在像素单元内产生相应的电荷,进而转换成数字图像输出。
本书以CCD为例对相机基础原理进行简要说明。
CCD是一种将光信号转换为电信号的半导体元件,其长宽各约为10 mm,由类似棋盘的格状排列的小像素(Pixel)组成,如图3-31所示。每个像素都是一个可以检测光强度的传感器(光电二极管),所谓200万像素CCD就是一个由200万个光电二极管构成的集合体。
图3-31 相机芯片
用相机拍摄时,拍摄对象发出的光透过镜头在CCD上成像。光到达CCD的某个像素时,将根据光的强度产生相应的电荷。将该电荷的大小读取为电信号,即可获得各像素上光的强度(浓度值)。
相机的一些重要参数如下:
(1)相机接口。
工业相机的接口分为镜头接口和数据接口。镜头接口是相机连接镜头的机械接口,而数据接口是连接数据线的电气接口。其中,数据接口分为Camera Link、IEEE 1394(火线)、USB 2.0/3.0、Gigabit Ethernet千兆以太网、CoaXPress等类型。常用的网口相机接口如图3-32所示。
图3-32 相机接口
(2)像元。
像元也称像素点或像元点,即影像单元(picture element),是组成数字化影像的最小单元。像元尺寸是相机芯片上每个像元的实际物理尺寸。
(3)分辨率。
相机的分辨率是指相机芯片上的像元数目,是衡量相机的最重要指标。它是由相机芯片上的像元数目所决定的,一个像元就对应一个像素。因此分辨率越大,意味着像元数目越多,相机拍摄得到的图像质量越好,相应的成本也越大。
(4)芯片尺寸。
CCD和CMOS有多种芯片尺寸,常以英寸表示芯片靶面的对角尺寸。这种表示方式延续了电视机使用摄像管时的分类方式。这一尺寸是摄像管的外接圆直径大小,摄像管有效的像平面大约是这一尺寸的2/3,因此传感器对角线的尺寸大约是传感器标称尺寸的2/3,即1英寸表示16 mm。实际芯片尺寸也可以通过以下公式计算获得:
(5)帧率。
帧率(frame rate)指相机每秒钟采集多少幅图像,单位为帧/秒(FPS)。一般分辨率越大的相机帧率越低,曝光时间越长的相机帧率也越低。
(6)精度。
相机理论精度计算公式如下:
(7)曝光时间。
相机曝光时间是指从快门打开到关闭的时间间隔,在这段时间内,物体可以在底片上留下影像。曝光时间视照相感光材料的感光度和感光面上的照度而定。曝光时间长,采集到的光信息就多,适合光线条件比较差的情况。
(8)触发方式。
工业相机触发方式分为内触发和外触发,外触发又分为硬件外触发和软件外触发。内触发功能是通过相机内部控制,每间隔一段时间自动拍照。硬件外触发是指在实际生产应用中用传感器和相机外触发配合,当产品经过传感器时,传感器给相机一个触发信号;软件外触发是指通过网线、串口给视觉处理器信号,然后再通过软件控制相机触发。
镜头由多个镜片和光圈、调焦装置组成,可以根据画面进行光圈调整和调焦,得到明亮、清晰的图像。选择镜头时,视野、焦距、失真等都是需要考虑的因素。
镜头的成像原理可以简化为凸透镜成像原理,凸透镜的成像原理及其应用如表3-1所示。
表3-1 凸透镜成像原理及其应用
由上表可知,相机拍摄时,镜头与物体之间的距离需要大于2倍焦距,此时镜头所成的像为倒立、缩小的实像,成像位置落在相机的靶面上。
镜头的一些重要参数如下:
(1)视场。
视场(field of view),也称视野,是指镜头能观测到的实际范围的物理尺寸。在一般应用中,镜头的视场大小和相机的分辨率,决定了视觉系统所能达到的检测精度。
(2)焦距。
焦距(focal length)是光学系统中衡量光的聚集或发散的度量方式,指平行光入射时从透镜中心到光聚集之焦点的距离。在相机中,焦距指从镜片光学中心到CCD或CMOS等成像平面的距离,一般常用的镜头焦距为4 mm、6 mm、8 mm、12 mm、16 mm、25 mm、35 mm、50 mm、75 mm。
焦距是镜头的重要性能指标,焦距的长短决定了拍摄的工作距离、成像大小、视场大小、景深大小。在确定镜头焦距前必须先确定视野、工作距离、相机芯片尺寸等因素,并可通过以下公式来计算:
根据拍摄时所需要的视野及焦距,也可以计算出焦点对准的位置(WD,即工作距离),如图3-33所示。
图3-33 镜头成像关系
(3)光圈。
对于已经制造好的镜头,镜头的直径不能随意改变,但是可以通过在镜头内部加入多边形或者圆形,并且面积可变的孔状光栅来控制镜头通光量,这种通常安装在镜头内,用来控制通过镜头进入机身内感光面光量的装置,就是光圈(aperture),如图3-34所示。
图3-34 光圈
(4)景深。
景深(depth of field)是指在镜头垂直方向上能清晰成像的物方空间深度。当相机的镜头对着某一物体聚焦清晰时,在垂直镜头轴线的同一平面的点都可以形成相当清晰的图像,把这个平面沿着镜头轴线向前和向后移动一定范围也可以形成较清晰的图像,这段可以清晰成像的物方空间前后距离即景深。不同景深的成像差异如图3-35所示,从左至右景深逐渐增大。
图3-35 不同景深的对比
(5)畸变。
畸变(distortion)是指光学系统对物体所成的像相对于物体本身而言的失真程度。通常来说畸变分为桶形畸变和枕形畸变两种,如图3-36所示。桶形畸变(barrel distortion)又称桶形失真,是指光学系统引起的成像画面呈桶形膨胀的现象,在摄影镜头成像尤其是广角镜头成像时较为常见。枕形畸变(pincushion distortion)又称枕形失真,是指光学系统引起的成像画面向中间“收缩”的现象,在长焦镜头成像时较为常见。
图3-36 镜头畸变
光学畸变只影响成像的几何形状,而不影响成像的清晰度。通常情况,拍摄的视场越大,所用镜头的焦距越短,其畸变越大。
(6)镜头接口。
镜头接口是用来与相机相连接的机械接口,接口类型分为C口、CS口、F口、K口、V口等。
C口和CS口的区别在于镜头距相机靶面的距离不同,即法兰距不同,C口为17.5 mm,CS口为12.5 mm,如图3-37所示。C口镜头可与C口相机匹配,CS口镜头可与CS口相机匹配。若想连接C口镜头与CS口相机,则需加一个5 mm接圈,否则会碰到相机靶面而造成损坏。而CS口镜头不能与C口相机匹配。
图3-37 镜头接口
(1)机器视觉系统的组成不包括( )。
A.镜头
B.视觉处理器
C.被测物体
D.光源
(2)机器视觉系统中镜头的作用是( )。
A.光学成像
B.提供照明
C.采集图像
D.转化为数字图像
(3)机器视觉系统中保证拍摄环境稳定的组件是( )。
A.镜头
B.视觉处理机
C.相机
D.光源
(4)已知一相机的像元尺寸为4.8μm,分辨率为1920×1200,那么该相机芯片的长边长度为( )。
A.9 216 mm
B.9.216 mm
C.5 760 mm
D.5.760 mm
(5)镜头接口类型不包括( )。
A.C口
B.CS口
C.S口
D.F口
参考答案:(1)C
(2)A
(3)D
(4)B
(5)C