2.1 火焰图像处理技术

图像预处理技术包括图像对比度增强、噪声的去除、边缘特征的加强等 ^[21] 。图像在采集、获取和传输过程中，由于所使用的传输器件和传输通道的局限性，均会不同程度地受到各种噪声的干扰，使图像的质量下降，去除噪声在图像处理中对后续的图像分割、特征抽取、图像分析识别等处理具有直接的影响。经典的去噪方法有中值滤波法、邻域平均法、多图像平均法、小波去噪等 ^[18] 。图像分割是将图像分成具有不同特性的多个区域并将感兴趣的区域提取出来的过程，其重要性不言而喻，如果图像目标分割错误，后续的特征提取和分析识别等处理会大受影响。

1）图像获取

在数字图像处理中，图像获取就是把一幅模拟图像（如照片、画片等）转换成适合计算机或数字设备处理的数字信号。这一过程主要包括摄取图像、光电转换、数字化等步骤 ^[19] 。

2）图像变换

图像变换就是对原始图像执行某种正交变换，如离散傅里叶变换、离散余弦变换、沃尔什变换、哈达玛变换、霍特林变换等，将图像的特征在变换域中表现出来，以便在变换域中对图像进行各种相关处理，特别是一些用空域法无法完成的特殊处理 ^[20] 。

3）图像增强

图像增强主要是突出图像中我们感兴趣的信息，衰减或去除不需要的信息，从而使有用的信息得到增强，便于目标区分或对象解释。图像增强的主要方法有直方图增强、空域增强、频域增强、伪彩色增强等技术。

4）图像复原

图像复原的主要目的是去除噪声干扰和模糊，恢复图像的本来面目。图像噪声包括随机噪声和相干噪声。随机噪声干扰表现为麻点干扰，相干噪声干扰表现为网纹干扰。模糊来自透镜散焦、相对运动、大气湍流及云层遮挡等。这些干扰可以用逆滤波、维纳滤波、最小约束二乘方滤波、同态滤波等方法去除。

5）图像编码

图像编码研究属于信息论中的信源编码范畴，其主要宗旨是利用图像信号的统计特性，以及人类视觉的生理学及心理学特性对图像信号进行高效压缩。从而减少数据存储量，降低数据量以减小传输带宽，压缩信息量以便图像分析与图像识别。图像编码的主要方法有去冗余编码、变换编码、小波变换编码、神经网络编码、模型基编码等。

6）图像分析

图像分析主要是对图像中我们感兴趣的目标进行检测和测量，以获得所需的客观信息。图像分析通过边缘检测、区域分割、特征抽取等手段将原来以像素描述的图像变成比较简洁的对目标的描述。

7）图像识别

图像识别是数字图像处理的重要研究领域。图像识别方法大致可分为统计识别法、句法（结构）识别法和模糊识别法。统计识别法侧重于图像的特征，可以用Baycs分类器、人工神经网络、支持向量机来实现；句法识别侧重于图像模式的结构，可以通过句法分析或对应的自动机来实现；而模糊识别法则主要是将模糊数学方法引入图像识别，从而简化识别系统的结构，提高系统的实用性和可靠性，可更广泛、更深入地模拟人脑认识事物的模糊性。

8）图像理解

图像理解的重点是在图像分析的基础上进一步研究图像中各目标的性质及其相互间的联系，并得出对图像内容含义的理解，以及对原来客观场景的解释，从而指导和规划行为。图像理解属于高层操作，所操作的对象是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有许多类似之处。

为加强系统的抗干扰能力，本书采用多图像平均，得到稳定的火焰燃烧图像，并对噪声进行滤波处理，达到平滑效果，再对图像进行分割处理，来区分目标与背景。下面将对图像处理方法进行详尽的介绍。

2.1.1 多张火焰图像加权平均

在一定的燃烧状态下，火焰应在一定的位置燃烧，且具有一定的大小和形状。但是由于受煤种、送风等因素的影响和火焰的跳动特征等，火焰的位置会有一定的漂移和闪烁，燃烧过程是一个动态过程，再加上各种随机干扰，理想的稳定火焰是不存在的。较合理的办法是在某一时间间隔内连续取多幅图像，利用多幅图像的平均结果表征本段时间的图像去进行处理。本系统中，采用连续抓取 3 幅火焰图像，然后对一定的时间间隔内的图像进行加权平均的方法，可得到稳定的火焰燃烧图像。

设一幅噪声的图像为 f ( x , y )，假定每一对坐标( x , y )的噪声都是不相关的，在其平均值为零的情况下，可以认为是由原始图像 f ( x , y )和噪声 n ( x , y ) 叠加而成，即

对噪声图像进行 N 次观测，得图像 I _j ( x , y ) ，然后求其平均值，便得到一幅平均图像 ，即

式中， I _j ( x , y )是 j 时刻的瞬时采集图像， I _i ( x , y )是 t 时刻平均图像， w _j 为权系数，一般取中间大两头小，可按高斯分布确定。在这样的一幅图像上，火焰面积及火焰亮度将直接反映燃烧火焰的状况。

由此得出平均图像 的数学期望值为：

平均图像在所有坐标( x , y )上的方差 为：

即平均图像 在所有坐标( x , y )上的方差等于噪声 n ( x , y ) 的 1/ N ，平均图像中任何点的标准差为：

由式（2-4）和式（2-5）可以看出，当观测的次数 N 增加时，平均图像上的方差、标准差都在减小。因为 E { I _i ( x , y )} = f ( x , y )，这意味着当对含有噪声的图像处理次数增加时， 将更接近于 f ( x , y )。此时包含在平均图像内的噪声成分的波峰值（最大瞬时值）等于一次观测时噪声成分的 。

2.1.2 图像去噪声

1. 经典的消除噪声方法

1）均值滤波器

均值滤波器 ^[21] 是一种消除图像噪声的线性处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。其计算公式为：

式中， S 为( x , y )点领域中坐标的集合，但不包括其本身； M 为集合内坐标点的数量。

均值滤波器是一种典型的线性去噪方法，因为其运算简单快速，同时又能够较为有效地去除高斯噪声，而适用面较广，至今仍是一种常用的去噪方法，许多滤波除噪声方法都是在此基础上发展而来的。其缺点是严重破坏了图像的边缘，模糊了图像。

2）中值滤波器

中值滤波器 ^[22] 是一种消除噪声的非线性处理方法，它是由Tueky在 1971 年提出的。它的基本原理是把数字图像或数字序列中一点的值用该点的邻近各点值的中值代替。中值的定义如下：

一组数 X ₁ , X ₂ ,…, X _n 是把 N 个数按值的大小顺序排列， y =Med{ X ₁ , X ₂ ,…, X _n }, y 为中间的数。如有一序列为（80，90，200，110，120），这个序列的中值为 110。

把一个点的特定长度或形状的领域称为窗口。在一维情形下，中值滤波器是一个含有奇数个像素的滑动窗口。窗口正中间那个像素的值用窗口内各像素值的中值代替。

中值滤波器是一种典型的非线性处理方法，它的优势在于对图像中脉冲噪声消除极为有效，且能够较好地保护图像边缘信息。

3）多图像平均法

如果一幅图像包含加性噪声，这些噪声对于每个坐标点是不相关的。并且其平均值为零，在这种情况下就可采用多图像平均来达到去掉噪声的目的。

多图像平均法 ^[23] 是把一系列有噪声的图像叠加起来，然后再得到平均值以达到平滑的目的。

由此可见，当进行平均处理的噪声图像数目增加时，其统计平均值就更加接近原始无噪声图像。这个方法在实际应用中的最大困难在于把多幅图像配准起来，以便使相应的像素能正确地对应排列。

该方法概念清晰，运算简单，但只适用于静态图像的去噪处理。

4）低通滤波器

信号或图像的能量大部分集中在幅度谱的低频和中频段是很常见的，而在较高频段，感兴趣的信息常被噪声淹没。因此，一个能降低高频成分幅度的滤波器能减弱噪声的影响 ^[24] 。

这种方法是一种频域处理法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分，以及颗粒噪声代表图像信号的高频分量，而大面积的背景区则代表信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声，使图像变得平滑。

用低通滤波器进行平滑处理可以使噪声轮廓等寄生效应减少到不显眼的程度，但是由于低通滤波器在对噪声等寄生成分滤除的同时，把有用高频成分也滤除了，这种去噪处理是以牺牲清晰度为代价而换取的。

2．几种较新的消除噪声的方法

1）基于均值操作的快速自适应滤波器

该滤波器能够快速自适应地抑制高斯噪声和脉冲噪声，其原理如下：

该滤波器根据对图像局部特征的判断，采用不同的滤波方法，分别抑制高斯噪声和脉冲噪声 ^[25] 。

滤波器首先对脉冲噪声予以识别和消除。目前对脉冲噪声的识别有好几种方法，其出发点都是从窗口中心点与其邻点之间灰度值上的差异来考虑。此方法所采用的方法是，先计算处理窗口内除中心点外其余点的灰度均值AVRG1，再将其与中心像素点的灰度值进行比较，若其差值的绝对值大于某一门限 T ₁ ，则被判为脉冲噪声，并可直接将此排除了脉冲噪声点的窗口均值AVRG1 作为滤波器的输出。

在排除脉冲噪声后，对边缘进行适当的判断和处理。此方法采用传统的差分算子来检验图像边缘。这里选用Roberts梯度算子 GM ，它的定义如下：

F ( i , j )为窗口中心像素点。如果梯度值 GM 大于某一门限值 T ₂ ，则将此中心点 f ( i , j )判为处于图像边缘的点，将予以直通，也就是直接将该点输出，以最大程度地保存边缘信息；否则，以整个窗口内的平均高度 AVRG2 作为最终输出。

此自适应滤波器由于考虑了脉冲噪声和高斯噪声混杂的情况，并对边缘进行了判断处理，将能有效地滤除混合噪声和保护图像边缘细节；并且均值运算简单，因而使得此种滤波器具有快速实时的优点。

但该滤波器也存在局限性，两个门限 T ₁ 、 T ₂ 的选择是十分关键的。 T ₁ 选择失误将无法消除脉冲噪声或将非噪声信号滤除。 T ₂ 的选择决定边缘的处理效果。这两个门限都不是事先能决定的，需进行大量分析实验，选择最佳值，才能达到满意效果。局限性之二是当脉冲噪声密度增加，特别是当密度高于 10%时，对脉冲噪声的判断就会出现大量失误。因此，该滤波器适用于脉冲噪声较小，同时对图像性质较为了解的情况下。

2）模糊加权均值滤波器

考虑该滤波器利用模糊隶属度函数的概念，对均值滤波器的权值加以优化，使其不仅在降低高斯噪声的能力方面较均值滤波有所提高，而且对于脉冲噪声及混合噪声也有很好的抑制能力 ^[26] 。其原理如下。

将窗口内的样本看做一个模糊集 A _arv 中的元素，窗口 x _i 根据其样本值有不同的隶属度 u _i ，其隶属度由模糊集的隶属函数 u ( d _i )映射而得。其中 d _i 为样本 x _i 与滤波输出之间的差值。这里，隶属函数 u ( d _i )是定义域为[0,+ ∞ ] ，值域为[0,1]的单调函数。具体算法如下：

（1）首先设滤波输出初值 y _o 为滤波窗内各样本的均值；

（2）由 y _o 导出的模糊隶属度 u _{i 0} ，并进行加权均值，得到新的输出 y _i ；

（3）比较 y _o 与 y _i 的差值是否小于预定的阈值，若小于该阈值，则迭代结束，输出为 y _i ，否则转步骤（4）；

（4）以 y _i 代替 y _o ，转步骤（2），直至前后两次估计值的差小于阈值为止。此算法中取模糊隶属函数 ，其中 y 为滤波输出， β 为尺度参数。

该滤波器采用模糊优化权值的方法，使不同像素不同权值，靠近滤波输出的像素权值高，远离滤波输出的权值低，这样就可以有效地避免重污染点的干扰，同时利用迭代收敛的方法使其达到最优，因此，对于高斯噪声的降噪能力优于均值滤波。对于脉冲噪声，由于它与未受噪声污染的原始像素相差很大，经迭代后提到的权值非常小，以至于可以将这个像素忽略不计。因此，其对脉冲噪声的抑制能力接近于中值滤波。该滤波器可以保护图像边缘信息，当进行滤波迭代时，边缘像素权值会逐步加大，其他像素权值会逐步减小，从而有效地减弱边缘模糊现象。

该滤波器的弱点在于每个像素点都需要进行迭代计算，运算量巨大，无法用于实时处理。另外，在模糊隶属函数中，尺度参数 β 决定模糊集的形状，影响图像处理效果，需事先确定。

3）基于离散正交小波变换的图像去噪方法

该方法通过二维离散小波将图像投影到小波变换域，通过对小波变换系数进行阈值处理实现图像的去噪 ^[27] 。

由于小波函数在时频域都具有较好的局部性，同时其变尺度特性使得小波变换对确定信号具有一种集中的能力，从而在小波变换域，信号的能量集中在几条亮线上，系数值较大，而噪声系数值较小。因此，若对小波系数进行域值处理，就可以在小波变换域中去除低幅度的噪声，然后进行小波变换逆变换，恢复我们所期望的信号。方法如下。

假设一个叠加了加性噪声的有限长信号可用下式表示：

我们的任务是从噪声污染信号 y 中恢复原始信号 x ，这里采用矢量符号 x ， y 表示{ x _i }和{ y _i }。 W 为离散小波变换算子， X ， Y 分别表示{ x _i }和{ y _i }的离散小波变换，即 X = Wx ， Y = Wy 。令 X ˆ表示从 Y 中对 X 的估计，则去噪方法如下：

（1）计算离散小波变换 Y = Wy

（2）在小波变换域对系数进行阈值处理

（3）计算逆离散小波变换

该方法的优点在于利用离散小波变换所具有的系数“集中”能力，使得我们可以集中信号，消除噪声。这种非线性方法不仅可用于去噪，在数据压缩及分离信号方面也极其有利。缺点是算法复杂，同样面对阈值的选择。

消除噪声是图像处理中重要的一个方面。最基本的两种去噪方法是均值滤波和中值滤波。随着研究的深入，人们在这两种方法上做了许多改进，同时也将一些新的技术应用于噪声消除，如模糊理论、神经网络、小波变换等。这些方法在不同程度上增强了去噪效果，但也带来了运算复杂、适用面窄等缺点 ^[28] 。因此我们在选择消除噪声方法时应该综合考虑各种因素，选择最适合的方法。

2.1.3 图像增强处理

火焰图像存在灰度及各色分量相对集中的特点。为了能准确观察火焰动态变化，需要对火焰图像进行增强显示处理。

1．直方图修整法增强

直方图表示数字图像中每一灰度与其出现的频率间的统计关系。直方图能给出该图的概貌性描述，如图像的灰度范围、每个灰度级的频率和灰度的分布、整幅图像的平均明暗和对比度等，由此可得出进一步处理的重要依据。采用直方图修整后可使图像的灰度间距拉开或者使灰度分布均匀，从而增大了反差，使图像细节清晰，达到图像增强的目的。直方图修整法通常有直方图均衡和直方图规定化两类。

设 f ( x , y )的灰度范围为 f _min 和 f _max 。将直方图正规化（归一化）为 r ∈[0,1]即

其中 L 表示图像的灰度范围。则灰度直方图表示为

其中， n 为一幅图像的总像素数， n _k 表示为 r _k 的像素数。

直方图修整就是通过灰度映射函数 s = T [ r ]，将原直方图 P _r ( r )改变成所希望的直方图 P _s ( s ) 。 s = T [ r ]满足以下 4 个条件。

（1）在 r ∈[0,1]内， s = T [ r ]是单调增加的。

（2） s 和 r 是一一对应的。

（3）对于 r ∈[0,1]，有 s = T [ r ]∈ [0,1]。

（4）反变换 r = T ⁻¹ [ s ]满足（1）～（3）。

由概率论知道

1）直方图均衡化

直方图均衡化就是把给定图像的直方图分布改变成均匀分布直方图分布。直观地看，直方图均衡化将导致信号值所占区域的对比度增加 ^[29] 。要进行直方图均衡化，意味着 P _s ( s ) = 1 ， s ∈[0,1]，由式（2-13）可得

从而

即 T [ r ]为分布累积函数。

在数字图像中，直方图均衡化的离散化公式为

由式（2-14），计算出的 s _k 需要根据良好间隔归入各自的量化等级，即

其中[•]表示四舍五入取整。

需要注意的是，由于灰度离散化，均衡化图像的直方图只是近似均匀的直方图分布。均衡化后的图像动态范围扩大了，但其本质是扩大了量化层的间隔，而非量化层的数目。相反，均衡化后级数分布减少，因而可能会出现伪轮廓。

2）直方图规定化

均衡化的方法是直方图修整法的一个特例，即修整后灰度概率密度伪分布，即 P _s ( s ) = 1 。在交互式图像增强中，希望能够达到预先给定的分布密度 P _z ( z ) ，以便突出感兴趣的灰度范围。这种方法称为直方图规定化 ^[30] 。

直方图规定化的方法，可以借助于直方图均衡化中的算法实现，其实现步骤如下。

（1）将给定的图像进行直方图均衡化，即

（2）规定希望的密度函数 P _z ( z ) 。

（3）将希望的直方图 P _z ( z )进行均衡化处理

（4）由于 P _s ( s )和 P _z ( z )都是均匀概率密度函数，故用 s 代替 u ，再带入式（3-19）和式（3-20）得： z = G ⁻¹ ( s ) = G ⁻¹ [ T ( r ) ]

这样对原灰度 r 可通过公式得到规定化灰度值。

在离散的情况下，规定化步骤如下。

（1）对已知 P _r ( r _k )做均衡化处理

（2）对给定直方图 P _z ( z )做均衡化处理

（3）建立 r _k 和 z _k 之间的关系 z _k = G ^-1 ( u _k ) = G ^-1 [ P _rox ( s _k ) ]

其中， P _rox ( s _k )表示与 s _k 最接近 u _k 。

图 2-2 所示为原始图像及其直方图，图 2-3 所示为经过直方图均衡变换后的图像及其直方图。从直方图上我们可以看出，原始图像的灰度相对集中，图像对比不强。经灰度均衡化后灰度分布分散，图像对比度增强。

2．伪彩色图像增强处理

伪彩色增强 ^[31] 是把黑白图像的各个不同灰度按照线性或者非线性的映射函数变换成不同的彩色，使图像细节更容易辨认，目标更容易识别，也可将原来不是图像的数据先表示成黑白图像，再转换成彩色图像达到图像增强的目的。

可以有多种方式实现从灰度到彩色的变换，最简单的就是把灰度图像的灰度级别从 0～255 分成 256 个区间，给每一个区间指定一种彩色。

从灰度到彩色的一种更具代表性的变换方式如图 2-4 所示。它是根据色度学的原理，将原图像 f ( x , y )的灰度经红绿蓝三种不同的变换，变成三基色分量 R ( x , y ) 、 G ( x , y ) 、 B ( x , y ) ，生成相应的色彩。彩色的含量根据变换函数的形状而定。火焰图像的灰度图像和伪彩色增强图像分别如图 2-5 和图 2-6 所示。

2.1.4 图像分割处理

图像分割是指将图像分成各具特性的区域并提取出感兴趣目标的技术和过程，它是由图像处理到图像分析的关键步骤，是一种基本的计算机视觉技术 ^[46] 。只有在图像分割的基础上才能对目标进行特征提取和参数测量，使得更高层的图像分析和理解成为可能。如果图像目标分割错误，后续的特征提取和分析识别等处理会大受影响，因而对图像分割的研究具有十分重要的意义。图像的分割算法通常基于图像亮度值的两个基本特性：不连续性和相似性。不连续性是基于图像亮度的突变来分割图像，如图像中的边缘；相似性是根据事先定义的准则把图像分割成相似的区域 ^[32] 。由此衍生出图像分割的三个方向：阈值法、边缘检测和区域生长。

阈值法的基本思想是选取适当的灰度值作为门限值，将整幅图像逐个像素与它比较，从而将目标分割出来 ^[33] 。当待处理图像有多个目标时就需要多个阈值，也即局部阈值处理方法。阈值法是应用最广、算法最简单的经典图像分割方法。

非线性图像分割又分为点检测、线检测、边缘检测三种，具体选取哪种方法视图像情况而定。点检测和线检测都是利用掩膜在图像中移动，求出掩膜系数与图像中对应像素点的灰度级乘积之和。而掩膜的系数随检测方法而变，同一方法的掩膜也不尽相同。边缘检测是检测亮度值的不连续性，是利用一阶和二阶导数检测的。常用的检测算子有Sobel算子、Prewitt算子、Roberts算子、LOG算子和Canny算子，利用梯度值的大小来判定边缘。其中Roberts算子检测既简单又快速，而Canny算子检测最有效，在实际应用中要根据要求选择不同的算子。

图像分割的目的就是把图像分割成区域，区域生长就是直接从分割目的出发，找出目标的方法。区域生长是根据预先定义的生长准则来把像素或子区域集合成较大区域的处理方法。基本处理方法是以一组“种子”点开始来形成生长区域，即将那些定义属性类似于种子的邻域像素附加到每个种子上 ^[34] 。

1. 基于阈值的方法

1）P-tile法

P-tile法是早期的基于灰度直方图的自动阈值选择方法，它假设在亮（灰度级高）背景中存在一个暗（灰度级低）目标，并且己知目标在整幅图像中所占面积比为 P %。该方法选择阈值的原则是，依次累计灰度直方图，直到该累计值大于或等于目标物所占面积，此时的灰度级即为所求的阈值。该方法计算简单，抗噪声性能较好。不足之处是要预先知道给定目标与整幅图像的面积比 P ，因此在 P 未知或 P 随不同图像改变时，该方法不适用 ^[35] 。

2）双峰法

对于目标与背景的灰度级有明显差别的图像，其灰度直方图的分布呈双峰状，两个波峰分别与图像中的目标和背景相对应，波谷与图像边缘相对应。当分割阈值位于谷底时，图像分割可取得最好的效果。该方法简单易行，但是对于灰度直方图中波峰不明显或波谷宽阔平坦的图像，不能使用该方法 ^[36] 。

3）大津阈值法

大津阈值法是由日本人大津首先提出的，也称OTSU法或最大类间方差法。该方法依据图像的一维直方图，以背景和目标间的最大类间方差为阈值选取准则。该方法对于直方图有明显波峰和波谷的图像效果较好，往往可以取得很好的分割。

OTSU分割方法思想是先任意选取一阈值将图像分割成两个区域，记为目标和背景，分别计算两区域出现的概率及它们的灰度均值，然后求出两区域间的灰度方差，该方差是阈值的函数，改变阈值，求出使得两类间方差最大的阈值，即为最佳阈值。

然而在实际应用中，由于各种干扰因素的存在，图像的灰度直方图不一定存在明显的峰谷，因此将一维直方图推广到了二维 ^[37] 。

4）特征空间 K -聚类法

特征空间 K -聚类法图像分割是指将一组目标，根据从它们测得的特征值将它们划分到各个类中的技术 ^[38] 。该方法是阈值分割概念的一个推广。通过将特征空间中的点聚集成团，然后再将它们映射回原图像空间，以得到分割的结果，因此特征空间 K -聚类法使用的一种迂回战术。

K -均值类方法是将一幅图像分成 K 个区域的常用方法，令 X = ( x ₁ , x ₂ )代表一个像素的坐标， g （ x ）代表这个像素的灰度值， K -均值聚类方法是要最小化如下的坐标：

其中， 代表在第 i 次迭代后付给类 j 的像素集合； μ _j 代表第 j 的均值， K -聚类算法的具体思路如下。

（1）选取 K 个聚类中心： （上角标为聚类中的迭代次数）

（2）在 i 次迭代时，根据下述准则将每个像素都赋给 K 类之一( j =1,2…, k ; l =1,2,…, k ; l ≠j)即

如果 ，即将每个像素付给均值离它最近的类。

（3）对 j =1,2,…, K ，更新类均值 ：

（4）如果对所有的 j =1,2,…, k ，有 ，则算法收敛。否则退回步骤（2）继续下一次迭代。

K -均值聚类算法的优点是：它能够动态聚类，具有一定的自适应性。但是， K -均值聚类的结果受聚类中心的个数 K 的影响。

K -均值聚类法初始时不知道均值的值，但是它的分类结果基本上不受初始聚类中心的影响，结合火焰图像的特点，本文采用的办法是先统计图像中的各个灰度值出现的频率，找出频率最高的 K 种像素值，然后用这 K 种像素值作为初始时的 K 个均值。

5）时刻存储法

在时刻存储法 ^[39] 中，图像被分割的时刻被存储在分割后的二值图像中，第 i 个时刻 m _i 的定义为

式中， M 为图像的像素点的总数目； h ( g )为灰度级为 g 的像素点的数目，即灰度直方图中灰度级 g 的高度。

最优阈值 t 由P-tile法得到

6）最小错误法

最小错误法 ^[40] 假定目标和背景的灰度值分布是均值 μ _i ，方差为 σ _i ，先验概率为 P _i 的正态分布 p ( g )，把图像的灰度直方图看做是对概率密度函数 p ( g )的估计

最优阈值 t 由求解下面的二次方程得到

但是，若按一般方法来计算该极值，需要知道统计参数 μ _i 、 σ _i 、 P _i ，而这些参量是未知的，为了克服这个困难，Kittler和Ilingworth引入了准则函数 J ( t )

式中

最优阈值 t 通过最小化准则函数 J ( t )得到，即

S.Cho，R.Haalick和S.Yi对最小错误法进行了改进 ^[5] 。

7）灰度直方图凹度分析法

对于目标与背景的灰度级有明显差别的图像，可以用双峰法求得最优分割阈值；对于另外一些波谷不明显的图像，最优阈值 t 往往位于灰度直方图的“肩膀”处。由于波谷和“肩膀”都对应于灰度直方图的凹度，因此可以通过灰度直方图凹度分析法 ^[41] 来求出最优阈值 t 。

8）一维灰度直方图法

把信息论中“熵”的概念用于图像分割，最早是由 Pun 提出来的， Kapur对Pun提出的熵法进行了改进，重新定义了物体 O 与背景 B 的概率分布相关的熵。一般来讲，一维 Kapur 熵法优于其他一维灰度直方图熵法 ^[42] ，因此它得到了广泛的应用。

设分割阈值为 t ，则物体 O 与背景 B 的概率分布为

定义与这两个概率分布相关的熵为

式中

Kapur定义准则函数 ψ ( t )最大的灰度级 t 即是所求出的最优阈值 t ，即

2. 基于边缘检测的方法

边缘一般是指图像中像素灰度有阶跃变化或屋顶状变化的那些像素的集合，可以粗略地分为阶跃边缘（step edge）与屋顶边缘（roof edge），它存在于目标与背景、目标与目标、区域与区域、基元与基元之间。边缘对图像识别和分析十分有用，它能勾画出目标物体轮廓，使观察者一目了然，包含了丰富的信息（如方向、阶跃性质、形状等），是图像识别中要抽取的重要属性。近年来，随着数学和人工智能的发展，出现了一些新的边缘检测方法，如数学形态法、小波变换法、神经网络法、模糊检测法、IFS边缘检测算子等。经典的边缘提取方法是考察图像的每个像素在某个邻域内灰度的变化，利用边缘邻近一阶或二阶方向导数变化规律，用简单的方法检测边缘，这种方法称为边缘检测局部算子法。边缘检测的基本思想是通过检测每个像元和其邻域的状态，以决定该像元是否位于一个物体的边界上。如果一个像元位于一个物体的边界上，则其邻域像元灰度值的变化就比较大。假如可以应用某种算法检测出这种变化并进行量化表示，那么就可以确定物体的边界。下面简要地介绍这几种经典的边缘算子原理。

1）Roberts算子

Robert算子是根据任意一对在互相垂直方向上的差分可用来计算梯度的原理，采用对角线方向相邻像素之差

对图像 f ( x , y )求Roberts梯度为

式中( u , v )为点( x , y )的四邻域，或用差分近似为

它的两个 2×2 卷积模板见图 2-7，有了这两个卷积算子就可以计算出Roberts梯度幅值 R ( i , j )，再取适当门限TH，如果 R ( i , j ) ≥ TH，则为阶跃边缘点。

Roberts算子采用对角线方向相邻像素之差近似检测边缘，定位精度高，在水平和垂直方向效果较好，但对噪声敏感 ^[44] 。

2）Sobel算子

Sobel算子是一组方向算子，从不同的方向检测边缘。Sobel算子不是简单求平均再差分，而是加强了中心像素上下左右四个方向像素的权重，运算结果是一幅边缘图像。

因此，Sobel算子定义如下

那么，利用图 2-8 所示的两个核做卷积，一个核对通常的垂直边缘影响最大，而另一个核对水平边缘影响最大，两个卷积的最大值都作为像素点的输出值，运算结果就是一幅边缘图像。适当取门限TH，如果 R ( i , j ) ≥ TH，则为阶跃边缘点。

Sobel算子利用像素的上、下、左、右邻域的灰度加权算法，根据在边缘点达到极值这一原理进行边缘检测。不但能产生较好的检测效果，而且对噪声具有平滑作用，可提供较为精确的边缘方向信息。但是，在抗噪声好的同时增加了计算量，而且也会检测伪边缘，定位精度不高。Sobel算子通常对灰度渐变和噪声较多的图像处理得较好 ^[45] 。

3）Prewitt算子

Prewit算子是一种边缘样板算子，利用像素点上、下、左、右邻点灰度差，在边缘处达到极值检测边缘，对噪声具有平滑作用。由于边缘点像素的灰度值与其邻域点像素的灰度值有显著不同，在实际应用中通常采用微分算子和模板匹配方法检测图像的边缘。样板算子由理想的边缘子图像构成，依次用边缘样板去检测图像，与被检测区域最为相似的样板给出最大值，用这个最大值作为算子的输出。

图 2-9 所示的两个卷积算子形成了Prewitt算子，与使用Sobel算子的方法一样，图像中每个像素都用这两个核做卷积，取最大值作为输出，运算结果就是一幅边缘图像。适当取门限TH，如果 R ( i , j ) ≥ TH，则为阶跃边缘点。

Prewitt算子不仅能检测边缘点，而且能抑制噪声的影响，因此对灰度和噪声较多的图像处理得较好。Rohinson算子也是一种边缘样板算子，其算法和Prewitt算子相似，只是边缘样板不同 ^[46] 。

4）Laplacian算子

Laplacian算子是一个二阶导数算子，而前面提到的三种算子均为一阶导数算子。该算子是一个与方向无关的各向同性（旋转轴对称）边缘检测算子。在只关心边缘点的位置而不顾其周围的实际灰度差时，一般选择该算子进行检测。表达公式为

在数字图像中可用数字差分近似为

式中，∇ _² f ( x , y )表示数字图像中每个像素关于 x 轴和 y 轴的二阶偏导数之和，即处理后像素( x , y )处的灰度值， f ( x , y )是具有整数像素坐标的输入图像。

数字图像函数的拉普拉斯算法也是借助各种模板卷积实现的。这里对模板的基本要求是对应中心像素的系数应是正的，而对应中心像素邻近像素的系数应是负的，且所有系数的和应该是零，这样不会产生灰度偏移，实现拉普拉斯运算的几种模板见图 2-10。

Laplacian算子的缺点是：由于为二阶差分，双倍加强了噪声的影响；另外它产生双像素宽的边缘，且不能提供边缘方向的信息，因此，Laplacian算子很少直接用于边缘检测，而主要用于已知边缘像素，确定该像素是在图像的暗区还是在明区。其优点是各向同性，不但可以检测出绝大部分边缘，同时基本没有出现伪边缘，可以精确定位边缘 ^[47] 。

鉴于此，Marr和Hildreth将高斯滤波和拉普拉斯边缘检测结合在一起，形成了LOG（Laplacian Of Gaussian）算子，即高斯-拉普拉斯算子，也常称为马尔算子（Marr-Hildreth）。该算子先用高斯算子对图像进行平滑，然后采用拉普拉斯算子根据二阶微分过零点来检测图像边缘。

高斯-拉普拉斯算子通常具有如下形式

式中， σ 为方差， r 为离原点的径向距离，即 r _² = x ² + y _² ， x 和 y 为图像的横坐标和纵坐标。

高斯-拉普拉斯算子是两种算子的结合，既具备高斯算子的平滑特点又具备拉普拉斯算子的锐化特点。平滑和锐化、积分和微分是一对矛盾的两个侧面，统一在一起后就变成了最佳因子。因为图像中包含噪声，平滑和积分可以滤掉这些噪声，消除噪声后再进行边缘检测（锐化和微分）会得到较好的效果。

5）Canny算子

Canny算子是一类最优边缘检测算子，它在许多图像处理领域得到了广泛应用。Canny考核边缘检测算子的指标是：①低误判率，即尽可能少地把边缘点误认为是非边缘点；②高定位精度，即准确地把边缘点定位在灰度变化最大的像素上；③抑制虚假边缘。

Canny从这三项指标出发，推导出了最佳边缘检测算子——Canny算子。该算子的基本思想是：先将图像使用高斯函数进行平滑，再由一阶微分的极大值确定边缘点。二阶微分的零交叉点不仅对应着一阶导数的极大值，而且也对应着一阶导数的极小值。换句话说，图像中灰度变化剧烈的点与变化缓慢的点都对应着二阶导数零交叉点。因此，Canny算子可能会引入伪边缘点。

其定义为：图像 f ( x , y )进行高斯函数滤波后得到 f ( x , y )× G _a ( x , y )，其中 a 为相应的尺度因子。计算其梯度矢量的模 M _a 和方向 A _a 为

图像的边缘点即为在 A _a 方向上使 M _a 取得局部极大值的点。

Canny方法也使用拉普拉斯算子，该方法与其他边缘检测方法的不同之处在于，它使用两种不同的阈值分别检测强边缘和弱边缘，并且仅当弱边缘与强边缘相连时才将弱边缘包含在输出图像中，因此这种方法较其他方法而言不容易被噪声“填充”，更容易检查出真正的弱边缘 ^[48] 。

6）基于灰度直方图的边缘检测

基于灰度直方图门限法的边缘检测是一种最常用、最简单的边缘检测方法。对检测图像中目标的边缘效果很好。图像在暗区的像素较多，而其他像素的灰度分布比较平坦。为了检测出图像物体的边缘，把直方图用门限 T 分割成两个部分，然后对图像 f ( i , j )实施以下操作。

（1）扫描图像 f ( i , j )的每一行，将所扫描的行中每一个像素点的灰度与 T 比较后得 g ₁ ( i , j )；

（2）再扫描图像 f ( i , j )的每一列，将所扫描的列中每一个像素点的灰度与 T 比较后得 g ₂ ( i , j )；

（3）将 g ₁ ( i , j )与 g ₂ ( i , j )合并，即得到物体的边界图像 g ( i , j )。

在以上过程中，门限 T 的选择将直接影响边缘检测的质量。由于直方图往往很粗糙，再加上噪声的影响更是参差不齐。这样就使得求图像极大、极小值变得困难。因此，可以用两条二次高斯曲线对目标和景物所对应的峰进行拟合，然后求二者的交点，并作为谷底，选取对应的灰度值为门限 T ，或用一条二次曲线拟合直方图的谷底部分，门限 T 可取为 T =- b /2 a 。

3. 基于特定理论的分割方法

图像分割至今尚无通用的自身理论。随着各学科许多新理论和方法的提出，出现了许多与一些特定理论、方法相结合的图像分割技术。

1）基于数学形态学的方法

数学形态学是一种非线性滤波方法，可以用于抑制噪声、特征提取、边缘检测、图像分割等图像处理问题 ^[49] 。数学形态学首先被用来处理二值图像。后来也被用来处理灰度图像，现在又有学者开始用软数学形态学和模糊形态学来解决计算机视觉方面的问题。

数学形态学的特点是能将复杂的形状进行分解，并将有意义的形状分量从无用的信息中提取出来。它的基本思想是利用一个被称为结构元素的探针来收集图像的信息，当探针在图像中不断移动时，不仅可根据图像各个部分间的相互关系来了解图像的结构特征，而且还可以利用数学形态学基本运算构造出许多非常有效的图像处理与分析方法。其基本的形态运算是腐蚀与膨胀。腐蚀具有使目标缩小、目标内孔增大，以及外部孤立噪声消除的效果；而膨胀是将图像中与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大、孔径缩小，可以增补目标中的空间，使其形成连通域。数学形态学中另一对基本运算方法是开运算和闭运算。开运算具有消除图像中细小物体，并在物体影响纤细处分离物体和平滑较大物体边界的作用；闭运算具有填充物体影像内细小空间，连接邻近物体和平滑边界的作用。

数学形态学应用于图像分割，具有定位效果好、分割精度高、抗噪声性能好的特点。同时这种方法也有着自身的局限性：①由于在图像处理的前期工作中，采用数学形态学的开（闭）运算，进行图像处理后，依然存在大量与目标不符的短线和孤立点；②由于预处理工作的不彻底，还需要进行一系列的基于点的开（闭）运算，因此运算速度明显下降。如何将数学形态学与其他方法综合运用以克服这些缺陷，将是数学形态学以后的工作方向。

数学形态学的操作对象可以是二值图像也可以是灰度（彩色）图像。用于描述二值形态学的语言是集合论，因此它可以用一个统一而强大的工具来处理图像处理中遇到的问题。集合论是数学形态学的基础，首先介绍集合论的一些基本概念。

集合（集）：具有某种性质的确定的有区别的事物的全体（它本身也是一个事物）。常用大写字母 A ， B ，…表示。

元素：构成集合的每个事物。

子集：当且仅当集合 A 的元素都属于集合 B 时，称 A 为 B 的子集。

并集：由 A 和 B 的所有元素组成的集合称为 A 和 B 的并集。

交集：由 A 和 B 的公共元素组成的集合称为 A 和 B 的交集。

补集： A 的补集记为 A ^c ，定义为 A ^c ={ x | x ∉ A }

位移： A 用 x =( x ₁ , x ₂ )位移，记为( A ) x ，定义为( A ) x ={ y | y = a + x , a ∈ A }

映像： A 的映像记为 A ˆ，定义为 A ˆ ={ x | x = − a , a ∈ A }

（1）二值图像的逻辑运算

一幅二值图像可以看成是 x 和 y 的一个二值函数。形态学理论把二值图像看成是其前景图像的集合（1 值），集合的元素属于 Z _² 。集合的运算可以直接应用二值图像集合。表 2-1 所示为集合运算在MATLAB中的逻辑运算符。

二值图像中所有像素只能在 0 和 1 这两个值中取，因此在MATLAB中，二值图像用一个由 0 和 1 组成的二维矩阵表示。这两个可取的值分别对应关闭和打开，关闭表征该像素处于背景，而打开表征该像素处于前景。

二值形态学中的运算对象是集合，也就是二值矩阵，但实际上当涉及两个二值矩阵时，并不把它们看成对等的，通常设 A 为图像矩阵， B 为结构元素矩阵。数学形态学是用 B 对 A 进行操作。

（2）膨胀

膨胀是在二值图像中“加长”或“变粗”的操作。膨胀的运算符是⊕ ， A 用 B 来膨胀写做 A ⊕ B ，定义为：

其中 表示 B 的映像，定义为 = { w | w = − b , b ∈ B }

( ) _z 表示对 B 的映像进行位移 z ，定义为( B ) z ={ y | y = a + x , a ∈ B }ˆ

因此，用 B 膨胀 A 的过程是：先对 B 进行关于中心像素的映射，再将其映射平移 z ，这里 A 和 B 的映像的交集不为空集。

膨胀运算在数学形态学中的作用是把图像周围的背景点合并到目标中。如果两个目标之间的距离比较近，那么膨胀运算可能会使两个目标连接在一起，膨胀对填充图像分割中的空洞很有用，二值图像的膨胀处理如图 2-11 所示，图 2-11（c）所示为膨胀结果。

（3）腐蚀

腐蚀的运算符为Θ ， A 被 B 腐蚀记为 A Θ B ，定义为 A Θ B = { z | ( B ) _z ∩ A ^c ≠Φ}。换言之， A 被 B 腐蚀是所有结构元素的原点位置的集合，其中平移的 B 与 A 的背景并不叠加。

腐蚀在数学形态学运算中的作用是消除目标的边界点。如果结构元素选取 3×3的块，腐蚀将使得目标的边界沿着周边减少一个像素。

腐蚀的优点是可以将小于结构元素的目标去除，如果结构元素足够大，通过腐蚀运算可以将两个目标分开，如图 2-12 所示。

（4）开启运算和闭合运算

开启运算就是先对图像进行腐蚀，然后对腐蚀的结果进行膨胀操作。 A 对 B 的形态学开启运算可以记做 ，这种运算是 A 被 B 腐蚀后再用 B 来膨胀腐蚀结果：

开启运算一般能平滑图像的轮廓，削弱狭窄的部分，去掉细的突出。

闭合运算是先对图像进行膨胀，然后对膨胀的结果做腐蚀运算。 A 对 B 的闭合运算可以记做 A · B ，这种运算是 A 被 B 膨胀后再用 B 来蚀腐膨胀结果：

闭合运算也是平滑图像的轮廓，与开启运算相反，它一般能整合窄的缺口和细长的弯口，去掉小洞，填补轮廓上的缝隙。

2）基于模糊集理论的方法

模糊理论具有描述事物不确定性的能力，适合于图像分割问题。近年来，出现了许多模糊分割技术，在图像分割中的应用日益广泛。目前，模糊技术在图像分割中应用的一个显著特点就是它能和现有的许多图像分割方法相结合，形成一系列的集成模糊分割技术，如模糊聚类、模糊阈值、模糊边缘检测技术等 ^[59] 。

3）基于小波变换的方法

小波变换是近年来得到了广泛应用的数学工具。它在时域和频域都具有良好的局部化性质，将时域和频域统一于一体来研究信号。而且小波变换具有多尺度特性，能够在不同尺度上对信号进行分析，因此在图像处理和分析等许多方面得到应用 ^[50] 。

二进小波变换具有检测二元函数的局部突变能力，因此可作为图像边缘检测工具。图像的边缘出现在图像局部灰度不连续处，对应于二进小波变换的模极大值点。因此通过检测小波变换模极大值点可以确定图像的边缘。小波变换位于各个尺度上，而每个尺度上的小波变换都能提供一定的边缘信息，因此可进行多尺度边缘检测，得到比较理想的图像边缘。

4）基于神经网络的方法

近年来，人工神经网络识别技术已经引起广泛的关注，并应用于图像分割，神经网络模拟生物，特别是人类大脑的学习机理，并能概括所学内容。它由大量的并行节点构成，每个节点都能执行一些基本计算。神经网络方法分割图像的思想是用训练样本集对神经网络进行训练以确定节点间的连接和权值，再用训练好的神经网络分割新的图像数据，这种方法需要大量的训练数据 ^[51] 。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。

图像分割是图像处理和分析的关键技术，也是一个经典难题。随着实际应用的需要，对图像分割方法进行深入的研究，不断改进原有方法，提出新方法具有重要的意义。图像分割方法将向更快速、更精确的方向发展，图像分割方法的研究需要与新理论、新工具和新技术结合起来才能有所突破和创新。对图像分割方法，特别是近几年图像分割领域中出现的新思路、新方法，或对原有方法的新的改进给出了一个比较全面的综述。希望能从整体上对这一难题有一个清晰的把握，从而对未来的工作有所启发。

纵观图像分割技术在这些年的发展，其中有几个明显的趋势。

（1）大量学者致力于将新的概念、方法引入图像分割领域，如这几年逐渐引起人们重视的模糊算法、神经网络利遗传算法、小波分析、粗集理论、数学形态学等理论都先后被应用于图像分割领域，为领域中的研究注入了活力，有效地解决了原有理论的一部分缺陷，改善了分割效果，更重要的是为图像分割问题的最终解决开拓了新的思路。随着基础理论研究的深化，这一趋势必将继续下去。

（2）人们非常重视多种分割算法的有效结合。综合使用两种或两种以上的方法，能够部分克服单独的图像分割算法难以对一般图像取得令人满意的分割效果的问题，占据了分割领域中现有文献的大部分。而采取什么样的结合方式才能体现各种方法的优点，弥补各自的不足，取得好的预期效果，在未来将仍是人们关注的主要问题之一。

（3）针对特定领域的特殊问题，利用这些领域的专业知识来辅助解决图像分割问题，越来越多地吸引了研究人员的注意力。相应的，对图像分割作为一个统一对象的研究在逐渐弱化。医学图像处理中的病理图像分割、工业图像分割、安全图像处理中的保密信息提取、军事图像处理中的雷达图像分割及卫星图像分割、交通图像处理中的车牌识别等都是近几年来图像分割领域中讨论较多的热点问题。

（4）虽然对于彩色图像分割的研究已经有了许多成果，但是与灰度图像分割方法的多样性相比，其理论仍不够丰富。近几年，关于彩色图像分割的文献有增加的趋势，有可能成为一个新的热点方向 ^[52] 。 2n5RjhOva/MnxsNmfx4eaJT48I4FzV1mlAuDATX8hRWCtey3igPMAPAfWRYgT36h