图像的清晰度直接关系图像质量的好坏,影响图像处理时的准确率 [18] 。清晰的图像含有更丰富的细节信息,便于图像的处理。图像的清晰度评价函数是检测一幅图像清晰程度的重要手段,也是提取图像中清晰区域的重要环节。
本章提出基于代数多重网格的无参考图像清晰度评价算法,算法改进了均方误差在评价图像清晰度时对参考图像的依赖性。算法先对待评价的图像做代数多重网格的图像重构,然后将重构后的图像和待评价的图像的均方误差值作为图像的清晰度度量值。
主观图像质量评价是以终端用户对图像的感知来评价图像的质量,观测者对给定的不同清晰度的参考图像和失真图像(不同模糊算法形成的不同模糊程度的图像)打分,相对评价范围分为很好、较好、一般、较差、很差,对应的绝对分值分别是5、4、3、2、1 [19] 。
主观图像质量评价以观测者的主观感知为依据评价图像的质量,在很多实际应用场景中,就是以人的感知作为评价清晰度的标尺,所以主观质量评价被认为是最可靠的评价方法。但是主观评价非常耗时,代价大,同时在实际的系统集成中是很难实现的。
客观图像质量评价 [20] 的目的是建立一种自动评价图像质量的方法,该方法用数学公式描述的方法提取图像的信息并计算得到图像质量的数值表示。客观图像质量评价计算简单,和主观图像质量评价相比更具实时性。目前存在的图像质量评价方法有三类,分别是全参考、弱参考和无参考图像质量评价。其中,无参考图像质量评价因其不需要提供任何参考图像的信息、计算方便而成为应用最广泛的图像质量评价方法。
图像清晰度作为衡量图像质量的重要指标,其评价方法也被广泛地研究。图像的不清晰由多种情况造成,主要有运动模糊、失焦、图像压缩、去噪和重采样 [21] 等。传统的图像清晰度评价方法主要分为三类,分别是基于边缘梯度的方法、基于频域的频谱函数方法和基于熵函数的方法 [22] 。
1.基于边缘梯度的方法
在图像清晰度评价中,梯度函数一般用于对图像进行边缘提取。通常聚焦清晰图像的边缘信息表现为更加丰富和锐利,梯度值也越大。所以,对边缘的梯度计算可以用于图像的清晰度评价。图像清晰度评价中常用的梯度函数 [23] 如下。
(1)Benner梯度函数
Benner梯度函数用于计算图像中相邻像素灰度差,为了更突出边缘的重要性,对差值结果取平方。用 f ( I )定量表示图像的清晰度,则 f ( I )表达式为
其中, I 表示待检测图像; I ( x , y )是 I 在点( x , y )处的像素值; f ( I )是图像 I 的清晰度值。
(2)Tenengrad梯度函数
与Benner梯度函数的不同在于Tenengrad梯度函数用于同时计算水平方向和垂直方向的梯度值,计算过程中使用Sobel 算子作为滤波器的掩模。Tenengrad梯度函数定量表示图像清晰度的表达式为
其中, T 表示阈值; s ( x , y )是水平和垂直方向的梯度值。 s ( x , y )定义式为
Tenengrad梯度函数中边缘检测的掩模Sobel算子定义为
(3)Laplacian梯度函数
Laplacian梯度函数和Tenengrad梯度函数大体上是一致的,但是在边缘检测算子上不同,Laplacian梯度函数使用Laplacian算子进行边缘检测,该算子的定义如式(2.5)。
Laplacian梯度函数中边缘检测的掩模Laplacian算子的定义如式(2.6)。
(4)能量梯度函数
能量梯度函数又称为相邻像素灰度方差法(SMD),其清晰度计算的公式为
其中 n 表示图像中像素的总和。
2.基于频域的频谱函数方法
频谱函数用于图像清晰度评价的理论基础是图像细节信息集中在高频部分,具体做法是通过统计待检测图像的高频分量来达到评价图像清晰度的目的。我们可以采用傅里叶变换、拉普拉斯变换或者小波变换来获取图像中的高频分量。假如用傅里叶变换提取图像高频分量就是对图像进行FFT变换,基于傅里叶变换的图像清晰度评价函数定义为
其中 W ( x , y )是具体的高通滤波器。 W ( x , y )可由下面的公式计算得到
其中, I 表示待检测图像; I ( x , y )是图像 I 在点( x , y )处的像素值;**表示二维卷积; G 0 是相应的空域高通滤波器。
3.基于熵函数的方法
熵函数用于图像清晰度评价的理论依据是与模糊图像相比较,清晰图像包含更多的信息量。因此,对于给定的图像,通过计算它的信息熵来定量该图像的清晰度评价。假如给定图像 I ,图像熵 H ( I )和图像能量 E ( I )分别定义如下
根据香农信息理论的定义,我们可以知道当 E ( I )不变时, H ( I )越大,那么图像就越清晰。
均方误差是一种常用的全参考图像质量评价方法 [24] ,该方法需要提供参考图像来计算失真图像的清晰度,本章提出了基于代数多重网格的无参考图像清晰度评价方法,是对均方误差法的改进。算法首先利用代数多重网格法对图像进行粗网格提取、插值重构,然后将重构后的图像与原始图像做均方误差,计算结果用来度量图像的清晰度。改进后的方法不需要提供参考图像,是无参考的。本章算法对图像进行全区域的扫描,面向完整的图像。当图像越清晰时,图像整体像素相似度较小,使用代数多重网格选取网格点并进行插值重构后的图像与原始图像的均方误差会越大,因此可以用重构后的图像和重构前的图像的均方误差值来表征图像的清晰度。
根据第1章的内容,我们对代数多重网格重建后的图像与原始图像做对比,计算MSE。在分析的过程中发现MSE跟图像的清晰度有较大的关系。为此,我们采用代数多重网格方法提取图像的粗层数据,并进行图像重建。通过多组图片的实验,验证了原始图像与重构图像间的均方误差与清晰度的关系。
本节针对lena图和barb图进行不同程度的模糊,分别采用高斯卷积核来进行模糊,使用的函数为matlab中的PSF=fspecial(‘gaussian’,*,*),利用该函数与原始图像进行卷积,可以得到不同模糊程度的图像,模糊程度依次增加;针对模糊之后的图像使用代数多重网格方法进行重建,不同模糊程度的图如图2.1和图2.2所示,重建结果的对比见图2.3和图2.4,与原图计算的MSE见表2.1。
图2.1 对lena图进行不同程度的模糊
选用高斯卷积核的原因在于一些光学成像的机理对原始图像做了一个点扩散运算,也就是一个高斯卷积核的卷积运算,得到的清晰图像是因为这个高斯卷积核较小,在视觉可以接受的范围内表现是清晰的,而模糊在于这个高斯卷积核比较大,出现了视觉感知的不同程度的模糊。
图2.2 对barb图进行不同程度的模糊
图2.2 对barb图进行不同程度的模糊(续)
图2.3 lena图中不同模糊程度的对比关系图
图2.4 barb图中不同模糊程度的对比关系图
从表2.1中可以看出,模糊图会得到较小的MSE,清晰图会得到较大的MSE。因此可以使用MSE的相对值来评价图像的清晰程度。
表2.1 进行不同程度的模糊之后重建得到的MSE
在统计学中,均方误差是反映估计量与被估计量之间差异程度的一种度量,是对于无法观察的参数 θ 的一个估计,其在统计学中的其定义为
均方误差表示“误差”的平方的期望值。其中,误差表示估计值 T 与被估计量 θ 的差。均方误差满足下面的等式
其中
由式(2.14)可以得到,偏差bias( T )是估计函数的期望值 E ( T )与待估计参数 θ 的差。
我们将均方误差的思想引入到图像质量评价中,计算参考图像和目标图像的均方误差值并作为图像清晰度值,其定义的清晰度评价函数为
其中, i 、 j 是像素点坐标; f ij 为原始图像; 为 f ij 的畸变图像; M 、 N 是图像的尺寸大小。
均方误差法是一种传统的客观全参考图像质量评价方法,算法的优点是计算简单且物理意义明确,但是该算法在评价图像质量时忽略了像素点之间的相关性,只是对图像中像素点之间误差进行纯数学的统计。
基于代数多重网格的无参考图像的清晰度方法是对均方误差法的一种改进,改进后的评价方法是无参考的,不需要提供非失真图像,更具实时性。首先采用AMG包对目标图像实现粗网格化,得到粗化序列第1层数据,对应到原始图像中的部分像素点后,可采用插值方法得到重构后的图像,然后将重构后的图像与原始图像做均方误差,得到的值用来度量图像的清晰程度。
算法示意图如图2.5所示。
图2.5 算法示意图