从人类视觉系统感知信息的角度,图像是一个二维光强度函数
,
表示光在空间中的坐标位置,函数值的大小是随着光强弱变化来记录图像亮度信息的像素值。早在1839年,法国画家达盖尔就公布了其发明的“达盖尔银版摄影术”,世界上第一台可携式木箱照相机诞生,自此人们可以用胶片来记录以往的图像信息。随着社会的进步,人们除了渴望照相机具有更高的成像质量,也产生了这些图像信息在人类社会中如何相互交换(即通信)、如何保存(即存储),以及长期保存的照片退化后又如何恢复等一系列社会应用需求,进而促进了图像处理技术的出现与发展。反过来,图像处理技术的发展又促进了人类社会的进一步繁荣。因此,人们一直不断研究图像信号的探测方式和处理方法,以获得更多、更全面的多维度图像信号,进而采用图像处理手段获得更多满足人们应用需求的有价值信息。
传统意义上,二维光强度函数
通常称为连续图像,又称为模拟图像。在电子传感器开发和采用以前,胶片照相机利用感光胶片的化学反应来检测场景内能量的变化,通过胶片的显影来获得其检测信号的记录,这样胶片就成了场景探测与信息记录的成像工具。连续图像的最大特点是物理概念明确,从信息论的角度,信息量无穷大。但连续图像的最大问题是不利于传输、保存和处理。随着数字计算机技术的发展,再加上计算机只能处理离散数字信号,因此人们发展了数字图像处理技术。数字图像处理又可以理解为计算机图像处理,它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。连续图像到数字图像的转换通常包括图像空间坐标采样、能量函数值量化两个数字化过程。这种数字化过程的完成通常被称为模数转换(analog-to-digital conversion,ADC),具体的采样、量化原理将在第2章详细介绍,这里只对其概念进行简单的描述。
利用扫描式传感器,图像被扫描成行、行再被采样成列,这样就构成了一幅二维空间网格;接着对网格上的函数值进行量化,就形成了一个所谓的图像像素或像元,其像素值称为灰度值,被量化成离散量级,即数值(digital number,DN)。离散化的网格所有像素的集合矩阵就构成了一幅数字图像,如图1-2所示。
图1-2 从模拟图像到数字图像
对于数字图像,有两点需要进一步说明。①图像网格的大小决定了图像空间分辨率。对于扫描式成像系统,扫描的行距离由传感器性能决定,采样间隔大小根据采样定理的采样频率
决定(采样频率
大于或等于信号最高频率
的两倍,即
,第2章将详细介绍)。采样间隔为采样频率的倒数,这样采样频率越高,采样间隔越小,图像空间分辨率越高,如图1-3所示。图1-3(a)中的
和
分别为低分辨率图像的网格尺寸,
和
为对应
轴和
轴方向的采样间隔;图1-3(b)中的
和
分别为高分辨率图像的网格尺寸,
和
为对应
轴和
轴方向的采样间隔。如果低分辨率图像和高分辨率图像之间的放大倍数为
,则
、
。从信息论的角度,高的采样频率意味着可以获得更多的信号高频信息,体现图像的细节信息就越丰富。②图像像素的量化尺度大小决定了图像辐射分辨率。量化尺度的大小通常用二进制比特的位数来度量,由模数转换器的性能决定。一般来说,量化的比特位数越多,图像辐射分辨率越高,数字信号对模拟信号近似的精度越高。例如,对于光电转换的峰峰值为1 V的电压信号,如果采用8 bit进行数字化量化,则量化尺度为256(2
8
)个灰度级,其模数转换精度为1/256。总之,图像空间分辨率和辐射分辨率越高,数字图像与模拟图像的近似程度越高,其数据量也随之增加。数据量的增加给数字图像传输、存储以及处理等环节的性能提出了更高的要求。因此,如何确定图像的采样间隔和量化等级,还需要根据实际应用的指标要求来确定。
图1-3 采样间隔与图像分辨率之间的关系
特别需要指出的是,随着电荷耦合器件(charged couple device,CCD)等电子传感器的出现,数字图像处理技术获得了蓬勃发展。这些电子传感器可以直接产生一种与原始场景能量变化相对应的电信号,并可把图像记录到磁性或光学存储介质中。相对而言,数字图像处理方法操作简单,构建满足特定处理任务需求的图像处理系统较容易。同时,随着计算机硬件和软件技术的发展,信号处理效率越来越高,提取的各种图像信息也越来越准确。
理论上讲,光是一种电磁波,其能量主要来源于太阳的电磁辐射,而传统的黑白或灰度图像是电磁波在可见光波段(波长为0.38~0.76 μm)对光强度的一种能量反射。根据电磁理论,可见光波段主要包括紫、蓝、青、绿、黄、橙、红等颜色光,而千差万别的彩色世界,绝大多数可以通过红、绿、蓝3种颜色光按照一定比例混合而成。因此,先对红、绿、蓝3个波段上同一场景光强度的反射能量分别成像,然后再对三者进行组合处理,就形成了彩色图像,如图1-4所示。国际上常把红、绿、蓝3种颜色定义为颜色的三基色,它们对应的电磁波波长分别为0.7 μm、0.546 μm和0.4358 μm。
图1-4 灰度图像与彩色图像
与灰度图像相比,彩色图像探测的地物目标信息更加丰富。除了空间信息外,每个像素分别有红、绿、蓝 3 个灰度值,反映了像素不同的光谱信息,可以看作一个三维向量(vector)。此时,对于空间分辨率大小相同的图像,如果每个波段的辐射分辨率都为8 bit,则灰度图像可描述的地物目标状态为2 8 ,而彩色图像可描述的状态为2 8 ×2 8 ×2 8 =2 24 ,即彩色图像可描述的信息更加丰富,但相应的数据量也大大增加,从而导致图像处理难度更高。
前面介绍的每幅图像都可以看作一幅静止图像,把多幅静止图像按照视觉系统的特性要求连接起来便形成图像序列,这就是动态图像。动态图像的典型代表就是所谓的视频图像。具体来讲,视频图像就是一系列的静止图像序列,通常每幅静止图像称为帧(frame),如图1-5所示。根据人眼视觉系统的驻留特性,当视频以超过一定的更新率或帧率(frame rate)[如PAL制电视规定帧率为25帧/s(frame per second,fps)]连续播放时,静止图像看起来就变成了连续的视频图像。
图1-5 视频图像
视频图像是一种对客观事物更为形象、生动的描述,其最大特点是除了具有静止图像的空间相关性外,还具有较强的时间相关性和冗余度。因此,在视频图像处理方法中更应该考虑其时间相关性,特别是帧与帧之间的信息增量,以及处理算法的实时性。例如,要想实时处理标准的PAL制视频图像信号,处理算法必须每秒要处理25帧图像,也就是要在40 ms内处理完一幅静止图像。
数字图像处理技术可以理解为利用计算机对图像进行加工和处理过程中所涉及的理论和方法的总称。数字图像处理技术作为计算机视觉的一个重要组成部分,其最高目标是用计算机模拟人类视觉系统,包括信息感知、处理、理解和推理等。从信号角度看,数字图像处理技术又属于信号处理领域的一个重要分支,主要涉及3个方面的问题:①结合成像信息感知的物理特性,如何描述或表示数字图像信号?②数字图像处理后的结果,是否能满足人类的应用需求?③对于给定感知图像和应用要求,设计的处理算法是否最优?只有综合解决好这些问题,才能证明所采用处理技术的合理性、正确性和有效性。
随着计算机技术和人工智能、思维科学研究的迅速发展,数字图像处理技术也向着更深层次发展,人们更希望利用计算机系统解释图像,像人类视觉系统一样认知外部世界。目前,数字图像处理技术主要涉及下面3种典型的处理层次 [ 3-4] 。
(1)低层处理:低层处理是在图像像素级层面上进行的,主要完成图像到图像间的处理操作,如图像变换、图像增强、图像恢复等。
(2)中层处理:中层处理是以图像为输入,输出从图像中提取的特征,并对感兴趣的目标进行非图像形式的描述,如图像分类、区域分割、目标识别等。
(3)高层处理:高层处理是在中层处理的基础上,通过采用与人类思维推理相似的技术,对图像及客观景象进行解译和理解等。
数字图像处理涉及的技术主要包括:图像采集、获取、编码、存储和传输,图像合成和产生,图像显示和输出,图像变换、增强、恢复和重建,图像分割,目标检测、表达和描述,特征提取和测量,序列图像校正,三维景象重建复原,图像数据库建立、索引和提取,图像分类、表示和识别,图像模型建立和匹配,图像(景象)解释和理解等。
目前,数字图像处理技术已广泛应用于通信(图像传真、可视电话、数字电视等)、深空探测(探月等)、遥感(林业资源调查、自然灾害监测、海洋调查等)、生物医学(X射线、超声、断层及核磁共振等)、工业生产(无损探伤、石油勘探、工业机器人视觉等)、天气预报(卫星云图测绘等)、军事任务(目标识别、导弹制导、雷达及声呐图像等)、公安侦缉(指纹识别、伪钞识别等)等众多领域。特别地,遥感图像处理技术作为数字图像处理领域的一个重要分支,与传统的视觉图像处理技术相比,除具有众多共同之处,还具有其自身的处理特点和应用要求:①遥感图像传感器所获得的数据是多波段的,包括多光谱、高光谱、红外、合成孔径雷达等图像,比计算机视觉领域的视觉图像复杂得多;②遥感图像处理不但需要对获得的图像进行分析,而且往往还需要从中反演出能够反映地物目标的物化参数等本质特性;③遥感图像中的地物目标具有尺度复杂性,存在严重的“同物异谱”或“同谱异物”等现象,辨识更加困难;④遥感图像解译的信宿不仅仅是针对人类视觉系统,往往也针对某种特殊的应用。理论上,尽管获得的遥感图像可能千差万别,但无论是哪个波段或以什么方式探测的图像都是用来描述电磁波信号的,而电磁波信号又是反映地物目标物理特性的。因此,遥感图像处理的核心就是通过现代信号处理手段,将感知的电磁波信号转化为人类需求的有价值信息。