下载掌阅APP，畅读海量书库
立即打开
相机作为机器视觉系统中的核心部件。相机根据功能和应用领域可分为工业相机、可变焦工业相机和OEM（Original Equipment/Entrusted Manufacture，原始设备制造商或原产地委托加工）工业相机。
工业相机可根据数据接口分为USB2.0、1394 FireWire和GigE（千兆以太网）三类，其中每一类都可根据色彩分为黑白、彩色及拜尔（彩色但不带红外滤镜）三种机型；每种机型的分辨率都有640×480、1024×768和1280×960等多个级别；每个级别中又可分为普通型、带外触发和数字I/O接口两类。值得一提的是，部分机型带有自适应光圈，这一功能使得相机在光线变化的照明条件下输出质量稳定的图像成为可能。
可变焦工业相机，也叫自动聚焦相机、缩放相机，分类相对简单，只有黑白、彩色及拜尔三大类。该系列相机可通过控制软件或SDK（Software Development Kit，软件开发工具包）调节内置电动镜头组的焦距，而且该镜头组还可在自动模式下根据目标的移动而自动调节焦距、使得相机对目标物体的成像处于最佳质量。与工业相机类似，可变焦工业相机中也有部分款型提供外触发与I/O接口，供用户自行编程使用。
OEM工业相机在分类方法上与普通工业相机基本相同，最大的区别只是在于OEM相机的编号中已含有可变焦工业相机的OEM型号，所以其产品列表略长。与工业相机类似，OEM工业相机中也有部分款型提供外触发与I/O接口，供用户自行编程使用。图2-1为机器视觉系统中使用的一种相机。
图2-1 相机
感光芯片是相机的核心部件，目前相机常用的感光芯片有CCD芯片和CMOS芯片两种。因此工业相机也可分为如下两类。
①CCD相机。CCD是Charge Coupled Device（电荷耦合器件）的缩写，CCD是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把图像像素转换成数字信号。CCD上有许多排列整齐的电容，能感应光线，并将影像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。
②CMOS相机。CMOS是Complementary Metal-Oxide-Semiconductor Transistor（互补金属氧化物半导体）的缩写，CMOS实际上是将晶体管放在硅块上的技术。
CCD与CMOS的主要差异在于将光转换为电信号的方式。对于CCD传感器，光照射到像元上，像元产生电荷，电荷通过少量的输出电极传输并转化为电流、缓冲、信号输出。对于CMOS传感器，每个像元自己完成电荷到电压的转换，同时产生数字信号。CCD与CMOS相机的大致参数对比如表2-1所示。
表2-1 CCD与CMOS的比较
因为人眼能看到1Lux照度［Luminosity，指物体被照亮的程度，采用单位面积所接受的光通量来表示，单位为勒（克斯）（Lux，lx）］以下的目标，CCD传感器通常能看到的照度范围在0.1～3Lux，是CMOS传感器感光度的3～10倍，所以目前一般CCD相机的图像质量要优于CMOS相机。
CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。CMOS相机存在成像质量较差、像敏单元尺寸小、填充率低等问题，1989年后出现了“有源像敏单元”结构，不仅有光敏元件和像敏单元的寻址开关，而且还有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。CMOS传感器可以做得非常大并有和CCD传感器同样的感光度，因此非常适用于特殊应用。CMOS传感器不需要复杂的处理过程，直接将图像半导体产生的电子转变成电压信号，因此就非常快，这个优点使得CMOS传感器对于高帧相机非常有用，高帧速度能达到400～100 000帧/s。
1）模拟相机
模拟相机所输出的信号形式为标准的模拟量视频信号，需要配专用的图像采集卡才能转化为计算机可以处理的数字信息。模拟相机一般用于电视摄像和监控领域，具有通用性好、成本低的特点，但一般分辨率较低、采集速度慢，而且在图像传输中容易受到噪声干扰，导致图像质量下降，所以只能用于对图像质量要求不高的机器视觉系统。常用的相机输出信号格式有：
PAL（黑白为CCIR），中国电视标准，625行，50场；
NTSC（黑白为EIA），日本电视标准，525行，60场；
SECAM；
S-VIDEO；
分量传输。
2）数字相机
数字相机是在内部集成了A/D转换电路，可以直接将模拟量的图像信号转化为数字信息，不仅有效避免了图像传输线路中的干扰问题，而且由于摆脱了标准视频信号格式的制约，对外的信号输出使用更加高速和灵活的数字信号传输协议，可以做成各种分辨率的形式，出现了目前数字相机百花齐放的形势。常见的数字摄像机图像输出标准有：
IEEE1394（firewire）；
USB2.0；
DCOM3；
RS-644 LVDS；
Channel Link LVDS；
Camera Link LVDS；
千兆网。
相机不仅可以根据传感器技术进行区分，还可以根据传感器架构进行区分。有两种主要的传感器架构：面扫描和线扫描。面扫描相机通常用于输出直接在监视器上显示的场合；场景包含在传感器分辨率内；运动物体用频闪照明；图像用一个事件触发采集（或条件的组合）。线扫描相机用于连续运动物体成像或需要连续的高分辨率成像的场合。线扫描相机的应用之一是卷材检测中要对连续产品进行成像，比如纺织、纸张、玻璃、钢板等。同时，线扫描相机同样适用于电子行业的非静止画面检测。
1）面阵相机
面阵相机是常见的形式，其像元是按行列整齐排列的，每个像元对应图像上的一个像素点，一般所说的分辨率就是指像元的个数。面阵CCD相机是采取面阵CCD作为图像传感器的一种数码相机。面阵CCD是一块集成电路，如图2-2所示。常见的面阵CCD芯片尺寸有1/2in、1/3 in、2/3 in、1/4 in和1/5 in五种。
图2-2 面阵CCD芯片
面阵CCD由并行浮点寄存器、串行浮点寄存器和信号输出放大器组成。面阵图像传感器三色矩阵排列分布，形成一个矩阵平面，拍摄影像时大量传感器同时瞬间捕捉影像，且一次曝光完成。因此，这类相机拍摄速度快，对所拍摄景物及光照条件无特殊要求。面阵相机所拍摄的景物范围很广，不论是移动的还是静止的，都能拍摄。目前，绝大多数数码相机都属于面阵相机。
2）线阵相机
线阵相机是一种比较特殊的形式，其像元是一维线状排列的，即只有一行像元，每次只能采集一行的图像数据，只有当相机与被摄物体在纵向相对运动时才能得到我们平常看到的二维图像。所以在机器视觉系统中一般用于被测物连续运动的场合，尤其适合于运动速度较快、分辨率要求较高的情况。
线阵CCD相机也被称作扫描式相机。与面阵CCD相机不同，这种相机采用线阵CCD作为图像传感器。如图2-3所示为线阵相机的工作图。在拍摄景物时，线阵CCD要对所拍摄景象进行逐行的扫描，三条平行的线状CCD分别对应记录红、绿、蓝三色信息。在每一条线状CCD上都嵌有滤光器，由每一个滤光器分离出相应的原色，然后再由CCD同时捕获所有三色信息，最后将逐行像素进行组合，从而生成最终拍摄的影像。
图2-3 线阵CCD相机工作图
黑白相机，也是最常用的线阵相机，每个像素点对应一个像元，采集得到的是灰度图像。
彩色相机能获得对象的红、绿、蓝三个分量的光信号，输出彩色图像。彩色相机能够提供比黑白相机更多的图像信息。彩色相机的实现方法主要有两种，棱镜分光法和Bayer滤波法。棱镜分光彩色相机，利用光学透镜将入射光线的R、G、B分量分离，在三片传感器上分别将三种颜色的光信号转换成电信号（如图2-4所示），最后对输出的数字信号进行合成，得到彩色图像。
图2-4 棱镜分光彩色相机
Bayer滤波彩色相机，是在传感器像元表面按照Bayer马赛克规律增加R、G、B三色滤光片，如图2-5所示，输出信号时，像素R、G、B分量值是由其对应像元和其附近像元共同获得的。
图2-5 Bayer滤波彩色相机
选择合适的相机也是机器视觉系统设计中的重要环节，相机不仅直接决定所采集到的图像分辨率、图像质量等，同时也与整个系统的运行模式相关。而选择合适的相机就需要深入了解相机的特性参数，进而选择能满足需求的相机。通常来说，相机的主要特性参数有：
①分辨率（Resolution）：分辨率是相机最为重要的性能参数之一，主要用于衡量相机对物象中明暗细节的分辨能力。相机每次采集图像的像素点数（Pixels），对于数字相机而言一般是直接与光电传感器的像元数对应的，对于模拟相机而言则是取决于视频制式，如：PAL制为768×576，NTSC制为640×480。
相机分辨率的高低，取决于相机中CCD芯片上的像素的多少，通过把更多的像素紧密地排放在一起，就可以得到更好的图像细节，有多少个像素排放在一起是由分辨率决定的。因此分辨率的度量是每英寸点（Dot Per Inch）DPI来表示的，它控制着图像的每2.54厘米（1英寸）中含有多少点的数量。如果一个图像的分辨率是600DPI，那么相对于一个300像素的图像，在2.54厘米边长的面积中它含有4倍的像素。
就同类相机而言，分辨率越高，相机的档次越高。但并非分辨率越高越好，这需要仔细权衡得失。因为图像的分辨率越高，生成的图像的文件越大，这还没考虑到扫描图像本身的真实大小，对加工和处理的计算机的速度，内存和硬盘的容量以及相应的软件要求也就越高。
总之，仅仅依靠百万像素的高分辨率还不能保证最佳的画质。画质与效能高级的镜头性能、自动曝光性能、自动对焦性能等多种因素密切相关。
②最大帧率（Frame Rate）/行频（Line Rate）：相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（Frames/Sec.），对于线阵相机为每秒采集的行数（Hz）。通常一个系统要根据被测物的运动速度、大小，视场的大小，测量精度计算而得出需要什么速度的相机。
③曝光方式（Exposure）和快门速度（Shutter）：对于线阵相机都是逐行曝光的方式，可以选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，数字相机一般都提供外触发采图的功能。快门速度一般可到10μs，高速相机还可以更快。
④像素深度（Pixel Depth）：即每一个像素数据的位数，一般常用的是8Bit，对于数字相机一般还会有10Bit、12Bit等。
⑤固定图像噪声（Fixed Pattern Noise）：固定图像噪声是指不随像素点的空间坐标改变的噪声，其中主要的是暗电流噪声。暗电流噪声是由于光电二极管的转移栅的不一致性而产生不一致的电流偏置，从而引起噪声。由于固定图像噪声对每幅图像都是一样的，可采用非均匀性校正电路或采用软件方法进行校正。
⑥动态范围：相机的动态范围表明相机探测光信号的范围，动态范围可用两种方法界定，一种是光学动态范围，值饱和时最大光强与等价于噪声输出的光强度的比值，由芯片特性决定。另一种是电子动态范围，它指饱和电压和噪声电压之间的比值。对于固定相机其动态范围是一个定值，不随外界条件而变化。
⑦光学接口：光学接口是指相机与镜头之间的接口，常用的镜头接口有C口、CS口和F口。表2-2提供了关于镜头安装及后截距的信息。
表2-2 光学接口的比较
⑧光谱回应特性（Spectral Range）：是指该像元传感器对不同光波的敏感特性，一般响应范围是350～1000nm，一些相机在靶面前加了一个滤镜，滤除红外光线，如果系统需要对红外感光时可去掉该滤镜。
CCD是1969年由美国贝尔实验室（Bell Labs）的维拉•博伊尔（Willard S. Boyle）和乔治•史密斯（George E. Smith）所发明的。当时贝尔实验室正在发展影像电话和半导体气泡式内存。将这两种新技术结合起来后，博伊尔和史密斯得出一种装置，他们命名为“电荷‘气泡’组件”（Charge "Bubble" Devices）。这种装置的特性就是它能沿着一片半导体的表面传递电荷，便尝试用来作为记忆装置，当时只能从缓存器用“注入”电荷的方式输入记忆。但随即发现光电效应能使此种组件表面产生电荷，而组成数字元影像。到了20世纪70年代，贝尔实验室的研究员已能用简单的线性装置捕捉影像，CCD（Charge Couple Devices，简称CCD）就此诞生。
CCD是固态图像传感器的敏感器件，与普通的MOS（Metal-Oxide-Semiconductor，即金属-氧化物-半导体）、TTL（Transistor-Transistor Logic，逻辑门电路）等电路一样，属于一种集成电路，但CCD具有光电转换、信号储存、转移（传输）、输出、处理以及电子快门等多种独特功能。CCD的突出特点是以电荷作为信号，而不同于其他大多数器件是以电流或者电压为信号。CCD的基本功能是信号电荷的产生、存储、传输和检测。
1）光电荷的产生
CCD的首要功能是完成光电转换，即产生与入射的光谱辐射量度呈线性关系的光电荷。当光入射到CCD的光敏面时，便产生了光电荷。CCD在某一时刻所获得光电荷与前期所产生的光电荷进行累加，称为电荷积分。入射光越强，通过电荷积分所得到的光电荷量越大，获得同等光电荷所需的积分时间越短。
光电荷的产生方法主要分为光注入和电注入两类，在CCD相机中，一般采用光注入方式，如图2-6所示。
图2-6 光注入产生光电荷示意图
硅晶体收到光照时，会在内部产生电子空穴对［图2-6（c）］。其中光生电荷（电子）在电场作用下，吸引到最近的势阱中［图2-6（d）］，光越强产生的电子空穴对越多，光电转换基本呈线性关系，这些电子由最近的势阱捕获形成电荷包。势阱捕获的光生电荷数目的多少，与该处投射的光强成正比。经过一段时间的电荷积累，投射到MOS电容上的光学图像转换为存储在MOS电容阵列（各像素单元）中的电荷图像。从而形成电荷转换与CCD器件的电荷储存。
2）光电荷存储
构成CCD的基本单元是金属-氧化物-半导体结构（MOS）。在栅极施加正偏压之前，P型半导体中空穴（多数载流子）的分布式均匀的。当在栅极施加小于P型半导体的阈值电压的正偏压后，空穴被排斥，产生耗尽区。偏压继续增加，耗尽区将进一步向半导体内延伸。当栅极的正偏压大于P型半导体的阈值电压时，半导体与绝缘体接口上的电势变高，以至于将半导体内的电子（少数载流子）吸引到表面，形成一层极薄的但电荷浓度很高的反转层。反转层电荷的存在表明了MOS结构的存储电荷功能。
3）光电荷的转移
景物经光学成像在CCD器件上，光学图像经光电转换形成电荷图像。电荷包在时钟脉冲驱动下，从一个势阱有序地转移到另外一个势阱，依次将电荷包转移出来，再经过选通放大器拾取，形成图像信号（如图2-7所示）。
图2-7 三相时钟脉冲示意图
在 t 1 时刻， U 1 高电位， U 2 与 U 3 为低电位， U 1 相应MOS电容形成较深势阱，当光照射时，光生电荷流到 U 1 对应势阱形成电荷包［图2-7（a）］。
在 t 2 时刻， U 2 高电位， U 1 开始下降， U 3 为低电位， U 2 下的势阱变深，势阱扩展为 U 1 与 U 2 相通，然后 U 1 下的势阱变浅，电荷包由 U 1 势阱转移到 U 2 势阱中去［图2-7（b）和图2-7（c）］。
在 t 3 时刻， U 2 高电位， U 1 降为零， U 3 保持低电位， U 2 相应MOS电容相应的势阱保持最深，电荷包由 U 1 势阱完全转移到 U 2 势阱中去［图2-7（d）］。
4）光电荷的输出
电荷包转移到最后一个MOS电容后，通过电荷积分器拾取图像信号（如图2-8所示）。MOS电容后有一输出栅极，加有固定电压，其后做一个高掺杂N＋型层，与P型衬底构成P-N结作为输出二极管，该输出二极管工作于反向偏置状态，形成最深的势阱。
图2-8 电荷输出示意图
典型的CCD相机主要由CCD、驱动电路、信号处理电路、电子接口电路、光学机械接口等构成，其原理框图如图2-9所示。
图2-9 CCD相机硬件结构
CCD：CCD为系统的核心组件，主要在驱动脉冲的作用下，实现光电荷转换、存储、转移及输出等功能。
驱动电路：CCD的驱动电路一般由晶振、时序信号发生器、垂直驱动器等构成，主要为CCD提供所需脉冲驱动信号。
信号处理电路：主要完成CCD输出信号的自动增益控制、视频信号的合成、AD转换等功能。
接口电路：CCD相机接口电路主要将接收外部来自外部的控制信号，并转换为相应的控制信号，并回馈至时序发生电路、信号处理电路，从而对相机工作状态进行有效的控制。
机械光学接口：主要提供与各种光学镜头的机械连接，从而实现光学镜头与CCD耦合。机械光学接口一般分为F型、C型、CS型等形式。
CCD相机的主要功能控制如下。
1）同步方式的选择
对单台CCD相机而言，主要的同步方式有：内同步、外同步、电源同步及等。其具体功能如下。
内同步：利用相机内置的同步信号发生电路产生的同步信号来完成同步信号控制。
外同步：通过外置同步信号发生器将特定的同步信号送入相机的外同步输入端，完成满足对相机的特殊控制需要。
电源同步（线性锁定，line lock）：用相机的AC电源完成垂直同步。
对于由多个CCD相机构成的图像采集系统，希望所有的视频输入信号是垂直同步的，以避免变换相机输出时出现的图像失真。此时，可利用同一个外同步信号发生器产生的同步信号驱动多台相机，以实现多相机的同步图像采集。
2）自动增益控制
CCD相机通常具有一个对CCD的信号进行放大的视频放大器，其放大倍数称为增益。若放大器的增益保持不变，则在高亮度环境下将使视频信号饱和。利用相机的自动增益控制（AGC）电路可以随着环境内外照度的变化自动的调整放大器的增益，从而可以使相机能够在较大的光照范围内工作。
3）背光补偿
通常，CCD相机的AGC工作点是以通过对整个视场的信号的平均值来确定的。当视场中包含一个很亮的背景区域和一个很暗的前景目标时，所确定的AGC工作点并不完全适合于前景目标。当启动背景光补偿时，CCD相机仅对前景目标所在的子区域求平均来确定其AGC工作点，从而提高了成像质量。
4）电子快门
CCD相机一般都具备电子快门特性，电子快门不需任何机械部件。CCD相机采用电子快门控制CCD的累积时间。当开启电子快门时，CCD相机输出的仅是电子快门开启时的光电荷信号，其余光电荷信号则被泄放。目前，CCD相机的最短电子快门时间一般为1/10000s；当电子快门关闭时，对NTSC制式相机，其CCD累积时间为1/60s；对于PAL制式相机，则为1/50s。
较高的快门速度对于观察运动图像会产生一个“停顿动作”效应，从而大大地增加了相机的动态分辨率。同时，当电子快门速度增加时，在CCD积分时间内，聚焦在CCD上的光通量减少，将会降低相机的灵敏度。
5） γ （伽玛）校正
在整个视觉系统中需要进行两次转换：CCD传感器将光图像转换为电信号，即所谓光电转换；电信号经传输后，在接收端由显示设备将电信号还原为光图像，即所谓电光转换。为了使接收端再现的图像与输出端原始图像相一致，必须保证两次转换中的综合特性具有线性特征。
CCD传感器上的光（ L ）和从相机出来的信号电压（ V ）之间的关系为 V = Lγ 。在一个标准的TV系统中，相机的 γ 系数为0.45。对于机器视觉应用， γ 系数应为1.0，从而为光和电压之间提供了线性关系。
6）白平衡
白平衡功能仅用于彩色CCD相机，其主要功能是实现相机图像对实际景物的精确反映。一般分为手动白平衡和自动白平衡两种方式。CCD相机的自动白平衡功能一般分为连续方式和按钮方式。处于连续方式时，相机的白平衡设置将随着景物色温的改变而连续地调整，范围一般为2800～6000K。这种方式适宜于对于景物的色彩温度在成像期间不断改变的场合，可使色彩表现更加自然。但对于景物中很少甚至没有白色时，连续的白平衡功能不能产生最佳的彩色效果；处于按钮方式时，可先将相机对准白色目标，然后设置自动方式开关，并保留在该位置几秒钟或至图像呈现白色为止。在执行白平衡后，重新设置自动方式开关以锁定白平衡设置，此时白平衡设置将存储于相机的存储器中，其范围一般为2300～10000K。以按钮方式设置白平衡最为精确和可靠，适用于大部分应用场合。
CCD相机处于开手动白平衡状态时，可通过手动方式改变图像的红色或蓝色状况，有多达107个等级供调节。如增加或减少红色各一个等级、增加或减少蓝色各一个等级等。
1）单色相机
首先从相对简单的黑白数字相机入手。如图2-10所示，物体在有光线照射到它时将会产生反射，这些反射光线进入镜头光圈照射在CCD芯片上，在各个单元中生成电子。曝光结束后，这些电子被从CCD芯片中读出，并由相机内部的微处理器进行初步处理。此时由该微处理器输出的就是一幅数字图像了。
图2-10 单色相机生成图像示意图
2）3 CCD彩色相机
CCD芯片按比例将一定数量的光子转换为一定数量的电子，但光子的波长，也就是光线的颜色，却没有在这一过程中被转换为任何形式的电信号，因此CCD实际上是无法区分颜色的。在这种情况下，如果使用CCD作为相机感光芯片，并输出红、绿、蓝三色分量，就可以采用一个分光棱镜和三个CCD，如图2-11所示。棱镜将光线中的红、绿、蓝三个基本色分开，使其分别投射在一个CCD上。这样一来，每个CCD就只对一种基本色分量感光。这种解决方案在实际应用中的效果非常好，但它的最大缺点就在于，采用3个CCD+棱镜的搭配必然导致价格昂贵。因此科研人员在很多年前就开始研发只使用一个CCD芯片也能输出各种彩色分量的相机。
图2-11 3CCD生成图像示意图
3）单CCD彩色相机
如果在CCD表面覆盖一个只含红绿蓝三色的马赛克滤镜，再加上对其输出信号的处理算法，就可以实现一个CCD输出彩色图像数字信号。由于这个设计理念最初由拜尔（Bayer）提出，所以这种滤镜也被称作拜尔滤镜。
如图2-12所示，该滤镜的色彩搭配形式为：一行使用蓝绿元素，下一行使用红绿元素，如此交替；换言之，CCD中每4个像素中有2个对绿色分量感光，另外两个像素中，一个对蓝色感光、一个对绿色感光。从而使得每个像素只含有红、绿、蓝三色中一种的信息，但希望的是每个像素都含有这三种颜色的信息。所以接下来要对这些像素的值使用“色彩空间插值法”进行处理。
图2-12 单CCD彩色相机成像原理
以图2-12中左下角的红色区域为例，需要的是丢失了的绿色与蓝色的值。而插值法可以通过分析与这个红色像素相邻的像素计算出这两个值。在这个例子中，算法发现该区域像素绿色像素均含有大量电荷，但蓝色像素电荷数为零，所以可以计算出，这个红色像素实际上是黄色的。
如果以图2-12为例，对3 CCD的成像结果与单CCD+色彩插值处理后的结果进行比较，所得图片完全一致。但该结论仅对色彩对比简单、边界规则的图像成立。而在实际应用中，即使最成熟的色彩插值算法也会在图片中产生低通效应。所以，单CCD彩色相机生成的图片比3 CCD彩色相机生成的图片更加模糊，这点在图像中有超薄或纤维形物体的情况下尤为明显。但是，单CCD彩色相机使得CCD数码相机的价格大大降低，而且随着电子技术的发展，今天CCD的质量都有了惊人的进步，因此大部分彩色数码相机都采用了这种技术。
1963年，仙童半导体（Fairchild Semiconductor）的Frank Wanlass发明了CMOS电路。到了1968年，美国无线电公司（RCA）一个由埃布尔•梅德温（Albert Medwin）领导的研究团队成功研发出第一个CMOS集成电路（Integrated Circuit）。CMOS（Complementary Metal Oxide Semiconductor），互补金属氧化物半导体，作为电压控制的一种放大器件，是组成CMOS数字集成电路的基本单元。
COMS图像传感器最早出现于1969年，它是一种用CMOS工艺方法将光敏组件、放大器、A/D转换器、内存、数字信号处理器和计算机接口电路等集成在一块硅片上的图像传感器件，这种器件具有结构简单、处理功能多、成品率高和价格低廉等特点，有着广泛的应用前景。
COMS图像传感器虽然比CCD出现早一年，但在相当长的时间内，由于它存在成像质量差、像素敏感单元尺寸小、填充率（有效像素单元与总面积之比）低10％～20％、响应速度慢等缺点，因此只能用于图像质量要求较低的应用场合。早期的CMOS器件采用“无源像敏单元”（无源）结构，每个像素单元主要由一个光敏组件和一个像敏单元寻址开关构成，无信号放大和处理电路，性能较差。1989年以后，出现了“有源像敏单元”（有源）结构。它不仅有光敏组件和像敏单元寻址开关，而且还有信号放大和处理电路，提高了光电灵敏度，减小了噪声。扩大了动态范围，使它的一些性能和CCD接近，而在功能、功耗、尺寸和价格等方面要优于CCD图像传感器，所以应用越来越广泛。
CCD和CMOS尽管在技术上有很大的差别，但基本成像过程都同样按以下步骤：电荷产生（电荷的产生和收集）；电荷量化（将电荷转换成电压或电流信号进行存储）；信号输出。它们的区别在于采用不同的方式和机制来实现以上功能。
CMOS图像传感器工作原理为：典型的CMOS图像传感器由光敏数组及辅助电路构成。其中光敏组件数组主要实现光电转换功能，辅助电路主要完成驱动信号产生、光电信号的处理、输出等任务。光敏元数组是由光电二极管和MOS场效应管数组构成的集成电路。
从像素内部有无放大器的角度进行划分，可将CMOS图像传感器的像素结构分为无源光敏结构PPS（passive-pixel sensor）和有源光敏源结构APS（active-pixel sensor）两大类。
如图2-13所示，PPS结构主要由光电二极管和地址选通开关构成。复位脉冲首先启动复位操作，将光电二极管的输出电压置为0；接着光电二极管开始光信号积分。在积分结束时，选址脉冲启动行选择开关，光电二极管中的信号传输至列总线上；然后经由公共放大器放大后输出。PPS的主要优势是它较小的像素尺寸。缺点：其列读取器读取速度很慢，并且容易受到噪声和干扰的影响。
图2-13 PPS结构示意图
有源光敏元结构与无源光敏元结构的主要区别在于，光敏源数组中的每一个光敏元内都集成有一个放大器。每一个光电转换信号首先经过放大器放大，而后再通过场效应管模拟开关传输。图2-14为有源光敏元结构的原理框图，可以看出，复位场效应管（Reset）构成光电二极管的负载，其栅极直接与复位信号线相连。当复位脉冲出现时，复位管导通，光电二极管被瞬时复位；而当复位脉冲消失后，复位管截止，光电二极管开始对光信号进行积分；由场效应构成的源级跟随放大器（Amplifier）将光电二极管的高阻输出信号进行电流放大；当选通脉冲到来时，行选择开关（Row selector，图中的RS）导通，使得被放大的光电信号输送到列总线上。
图2-14 有源光敏元结构
在有源光敏元结构中，光电转换后的信号立即在像素内进行放大，然后通过X-Y寻址方式读出，从而提高了CMOS传感器的灵敏度。APS具有良好的消噪功能。它不受电荷转移效率的限制，速度快，图像质量明显改善。另一方面，与PPS相比，APS像素的尺寸较大，填充系数较小，其填充系数典型值为20％～30％。
以CMOS图像传感器为光电转换器件的相机，称为CMOS相机。CMOS相机一般由CMOS图像传感器、外围控制电路、接口等电路构成。其中控制电路的主要功能是对CMOS图像传感器的工作状态进行设置。显然，CMOS图像传感器的良好集成性可以在很大程度上简化相机的设计过程。
CCD与CMOS传感器是当前被普遍采用的两种图像传感器，两者都是利用感光二极管（photodiode）进行光电转换，将图像转换为数字数据，而其主要差异是数字数据传送的方式不同。如图2-15所示，CCD传感器中每一行中每一个像素的电荷数据都会依次传送到下一个像素中，由最底端部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个像素都会邻接一个放大器及A/D转换电路，用类似内存电路的方式将数据输出。造成这种差异的原因在于：CCD的特殊工艺可保证数据在传送时不会失真，因此各个像素的数据可汇聚至边缘再进行放大处理；而CMOS工艺的数据在传送距离较长时会产生噪声，因此，必须先放大，再整合各个像素的数据。
图2-15 传感器的结构
由于数据传送方式不同，因此CCD与CMOS传感器在效能与应用上也有诸多差异。
①灵敏度差异：由于CMOS传感器的每个像素由四个晶体管与一个感光二极管构成（含放大器与A/D转换电路），使得每个像素的感光区域远小于像素本身的表面积，因此在像素尺寸相同的情况下，CMOS传感器的灵敏度要低于CCD传感器。
②成本差异：由于CMOS传感器采用一般半导体电路最常用的CMOS工艺，可以轻易地将周边电路（如AGC、CDS、Timing generator或DSP等）集成到传感器芯片中，因此可以节省外围芯片的成本；除此之外，由于CCD采用电荷传递的方式传送数据，只要其中有一个像素不能运行，就会导致一整排的数据不能传送，因此控制CCD传感器的成品率比CMOS传感器困难许多，即使有经验的厂商也很难在产品问世的半年内突破50％的水平，因此，CCD传感器的成本会高于CMOS传感器。
③分辨率差异：如上所述，CMOS传感器的每个像素都比CCD传感器复杂，其像素尺寸很难达到CCD传感器的水平，因此，当比较相同尺寸的CCD与CMOS传感器时，CCD传感器的分辨率通常会优于CMOS传感器的水平。
④噪声差异：由于CMOS传感器的每个感光二极管都需搭配一个放大器，而放大器属于模拟电路，很难让每个放大器所得到的结果保持一致，因此与只有一个放大器放在芯片边缘的CCD传感器相比，CMOS传感器的噪声就会增加很多，影响图像品质。
⑤功耗差异：CMOS传感器的图像采集方式为主动式，感光二极管所产生的电荷会直接由晶体管放大输出，但CCD传感器为被动式采集，需外加电压让每个像素中的电荷移动，而此外加电压通常需要达到12～18V；因此，CCD传感器除了在电源管理电路设计上的难度更高之外（需外加Power IC），高驱动电压更使其功耗远高于CMOS传感器的水平。
⑥光谱响应特性：CCD器件由硅材料制成，对近红外比较敏感，光谱响应可延伸至1.0μm左右。其响应峰值为绿光（550nm）。夜间隐蔽监视时，可以用近红外灯照明，人眼看不清环境情况，在监视器上却可以清晰成像。由于CCD传感器表面有一层吸收紫外的透明电极，所以CCD对紫外不敏感。彩色摄像机的成像单元上有红、绿、蓝三色滤光条，所以彩色摄像机对红外、紫外均不敏感。
这两种图像传感器的性能差别如表2-3所示。
表2-3 CMOS与CCD图像传感器的性能比较
综上所述，CCD传感器在灵敏度、分辨率、噪声控制等方面都优于CMOS传感器，而CMOS传感器则具有低成本、低功耗以及高整合度的特点。不过，随着CCD与CMOS传感器技术的进步，两者的差异有逐渐缩小的态势，例如，CCD传感器一直在功耗上作改进，以应用于移动通信市场；CMOS传感器则在改善分辨率与灵敏度方面的不足，以应用于更高端的图像产品。
典型的机器视觉系统是一种基于个人计算机（PC）的视觉系统，一般由光源、相机、图像采集卡、图像处理软件以及一台PC机构成。其中，图像的采集功能由相机及图像采集卡完成；图像的处理则是由在图像采集/处理卡的支持下，由软件在PC机中完成。基于PC的机器视觉系统尺寸庞大、结构复杂，其应用系统开发周期长，成本较高。目前，一种新型的智能相机（Smart Camera）的出现，向传统的基于PC的机器视觉系统提出了挑战。图2-16为一款智能相机。
图2-16 智能相机
智能相机（Smart Camera）是近年来机器视觉领域发展最快的一项新技术。智能相机是一个同时具有图像采集、图像处理和信息传递功能的小型机器视觉系统，是一种嵌入式计算机视觉系统（Embedded Machine Vision System）。它将图像传感器、数字处理器、通信模块和其他外设集成到一个单一的相机之内，使相机能够完全替代传统的基于PC的计算机视觉系统，独立的完成预先设定的图像处理和分析任务。由于采用一体化设计，可降低系统的复杂度，并可提高系统的可靠性，同时系统的尺寸大为缩小。智能相机的出现，开启了机器视觉技术研究的新篇章，也拓宽了机器视觉技术的应用范围。
智能相机具有易学、易用、易维护、安装方便等特点，可在短期内构建起可靠而有效的机器视觉系统。其技术优势主要体现在：
①智能相机结构紧凑，尺寸小，易于安装在生产线和各种设备上，且便于装卸和移动；
②智能相机实现了图像采集单元、图像处理单元、图像处理软件、网络通信装置的高度集成，通过可靠性设计，可以获得较高的效率及稳定性；
③由于智能相机已固化了成熟的机器视觉算法，用户无需编程，就可实现有/无判断、表面/缺陷检查、尺寸测量、OCR/OCV、条形码阅读等功能，从而极大地提高了应用系统的开发速度。
智能相机与基于PC的视觉系统在功能和技术上的差别主要表现在以下几方面。
①体积比较 智能相机与普通相机的体积相当，易于安装在生产线和各种设备上，便于装卸和移动；而基于PC的视觉系统一般由光源、CCD或CMOS相机、图像采集卡、图像处理软件以及PC机构成，其结构复杂、体积相对庞大。
②硬件比较 从硬件角度比较，智能相机集成了图像采集单元、图像处理单元、图像处理软件、网络通信装置等，经过专业人员进行可靠性设计，其效率及稳定性都较高。同时，由于其硬件电路均已固定，缺少了设计的灵活性；基于PC的视觉系统主要由相机、采集/处理卡及PC机组成。由于用户可根据需要选择不同类型的产品，因此，其设计灵活性较大。同时，当产品来自于不同的生产厂家时，这种设计的灵活性可能会带来部件之间不兼容性或可靠性下降等问题。
③软件比较 从某程度上来说，智能相机是一种比较通用的机器视觉产品，它主要解决的是工业领域的常规检测和识别应用，其软件功能具有一定的通用性。由于智能相机已固化了成熟的机器视觉算法，用户无需编程，就可实现有/无判断、表面/缺陷检查、尺寸测量、边缘提取、Blob、灰度直方图、OCR/OCV、条形码阅读等功能。基于PC的视觉系统的软件一般完全或部分由用户直接开发，用户可针对特定应用开发适合自己的专用算法。另一方面，由于用户的软件研发水平及硬件支持的不同，导致由不同用户开发的同一种应用系统的差异较大。
1）智能相机的结构
智能相机的发展也经历了由简单到复杂，由低级到高级的过程。就现在的技术体系而言，智能相机一般包括图像采集单元、图像处理单元、图像处理软件、网络通信装置等。图2-17为智能相机的结构框图。
图2-17 智能相机的结构图
图像采集单元：在智能相机中，图像采集单元相当于普通意义上的CCD/CMOS相机和图像采集卡。它将光学图像转换为模拟/数字图像，并输出至图像处理单元。
图像处理单元：图像处理单元类似于图像采集/处理卡。它可对图像采集单元的图像数据进行实时的存储，并在图像处理软件的支持下进行图像处理。
图像处理软件主要在图像处理单元硬件环境支持下，完成图像处理功能。如几何边缘提取、Blob、灰度直方图、OCV/OVR、简单的定位和搜索等。在智能相机中，以上算法均封装成固定模块，用户可直接应用，无需编程。
网络通信装置是智能相机的重要组成部分，主要完成控制信息、图像数据的通信任务。智能相机一般均内置以太网通信接口，并支持多种标准网络和总线协议，从而使多台智能相机构成更大的机器视觉系统。
2）智能相机的处理器
智能相机中的处理器是智能相机中所有智能的硬件基础。一般嵌入式系统可以采用的处理器类型有：通用处理器、定制的集成电路芯片（ASIC）、数字信号处理器（DSP）、多媒体数字信号处理器（Media DSP）及现场可编程逻辑数组（FPGA）。
通用处理器一般应用于图像处理任务简单的领域，或者和定制的图像处理芯片结合起来应用。ASIC是针对具体应用定制的集成电路，可以集成一个或多个处理器内核以及专用的图像处理模块（如镜头校正、平滑滤波、压缩编码等），实现较高程度的并行处理，处理效率最高。但ASIC的开发周期较长，开发成本高，不适合中小批量生产的视觉系统。
智能相机中最常用的处理器是DSP和FPGA。其中DSP由于处理能力强，编程相对容易，价格较低，在嵌入式视觉系统中得到较为广泛的应用。比如德国Vision Components的VC系列和Fastcom Technology的iMVS系列。由于DSP在图像和视频领域日见广泛的应用，不少DSP厂家近年推出了专用于图像处理领域的多媒体数字信号处理器（Media processor）。典型产品有Philip的Trimedia，TI的DM64X和Analog Device的Blackfin。
随着FPGA的价格下降，FPGA开始越来越多地应用在图像处理领域。作为可编程、可现场配置的数字元电路数组，FPGA可以在内部实现多个图像处理专用功能模块，可以包含一个或多个微处理器，为实现底层图像任务的并行处理提供一个较好的硬件平台。典型的FPGA器件有Xilinx的Virtex II Pro和Virtex-4。
3）智能相机的通信接口
以太网接口是最常见的智能相机接口。除此之外，有些智能相机还提供IEEE 1394、Camera Link、USB和RS 232接口。
4）智能相机的图像处理软件
图像处理软件是计算机视觉系统的重要组成部分，是决定视觉系统可靠性和应用效果的关键因素。图像处理软件一般要完成3个层次的任务：图像预处理、特征提取及物体的分类和识别。根据用户的需求，智能相机配备的软件可以是针对具体应用的完整软件、具有图形开发接口的软件包或者成熟的图像处理算法库。大部分智能相机的制造商都是提供基本的图像处理函数库和二次开发接口，比如Vision Components的VCLIB、Matrox的Mil及Feith的Coake。另外还有一些带图形开发接口的软件包，比如德国MV Technology的Hacon，美国PPT Vision的Inspection Builder，IPD的Sherlock等。
目前市场上的智能相机产品主要来自欧美，如德国Feith公司的CanCam，德国Vision Component公司的VC4018和VC4038系列，加拿大Matrox公司的Irist系列，美国Cognex公司的InSight相机，DVT公司的Legend系列。欧洲的智能相机基本上采用CCD图像传感器，而美国的智能相机则较多使用CMOS图像传感器。