图像是人们获取信息的重要途径,其所承载的信息非常丰富。图像在采集、处理、传输和存储过程中,由于各种因素的影响,将可能影响到图像质量,这给图像的后期处理带来了一定的困难。因此,建立图像质量评价机制具有重要的意义,是图像处理工程的基础技术之一。
图像质量评价涉及图像处理的许多方面,如压缩、传输、存储、增强、水印等。一个有效的评价标准至少具有三种应用:第一,可以在质量控制系统中检测图像质量,例如图像采集系统,通过自动调整系统参数来获得高质量的图像;第二,用于衡量图像处理系统和算法的有效性;第三,可以嵌入到图像处理系统中,用于优化系统和参数设置,如在视频通信系统中,质量标准既能辅助编码端的预滤波和比特分配算法的设计,又能辅助解码端的最优重构、误差消除和后滤波算法的设计。
图像质量评价可分为主观评价和客观评价两大类方法。主观评价法主要凭借评价人员的主观感知来评价图像质量;客观评价法依据评价的数学模型给出量化指标,模拟人类视觉系统感知机制来衡量图像质量。图像质量评价还有一些其他评价方法,如根据有无参考图像又可以将图像质量评价方法分为有参考评价模型和无参考评价模型。有参考评价模型是指根据一幅参考图像,对经过处理的图像进行评价。在进行图像复原、图像去模糊化等处理时常采用这种评价方法。无参考评价模型是指没有参考图像时,直接根据图像的统计特性或观察者对图像的主观打分进行质量评价。
图像质量的主观评价方法(Mean Opinion Score, MOS)考虑了观察者对图像的理解能力,常用方法包括平均主观分值法(MOS)和差分主观分值法(DMOS)。平均主观分值法是通过不同观测者对于图像质量评价得出的主观分值进行平均,从而得到归一化的分值,并以该分值表示该图像质量。评价标准分为优、良、中、差、劣五个等级。对应这五个标准有两种类型的分值,即图像主观绝对分值和图像主观相对分值。主观绝对分值是观测者对于图像本身的主观分值,主观相对分值是观测者对于图像在一组图像中的相对其他图像的分值。由于主观评价方法受到观察者知识背景、观测目的和环境等影响,从而导致了稳定性和可移植性差,且难以用数学模型进行表达。
客观质量评价是指使用一个或多个图像质量的度量指标,建立与图像质量相关的数学模型,采用计算机自动计算出图像质量,其目标是使客观评价结果与人的主观感受相一致。
图像质量的均方误差评价(Mean Square Error, MSE)方法是一种常用的图像质量评价方法,它是指被评价图像与参考图像对应位置像素值误差的平均值误差。假设有一幅参考图像 f ( x , y ),另有一个受到污染的图像 g ( x , y ),如欲对图像 g ( x , y )进行质量评价,其均方误差计算公式为
根据均方误差的定义,误差值越大,说明图像像素值整体差异越大,图像质量越差;反之,均方误差越小,说明图像质量越好。均方误差为0,则被评价图像与参考图像完全一致。
图像的信噪比也是常用的图像质量评价指标之一,是参考图像像素值的平方均值与均方误差比值的对数的10倍。若一幅参考图像用 f ( x , y )表示,而受到污染的图像用 g ( x , y )表示,如欲对图像 g ( x , y )进行质量评价,其信噪比(Signal Noise Ration, SNR)误差计算公式为
由式(3-12)可以看出,在均值误差相同的情况下,对于不同的图像,由于像素值不同,其信噪比很可能不一样。
为了消除图像自身像素值大小对评价指标产生的影响,通常采用峰值信噪比(Peak Signal Noise Ration, PSNR)。这是一种与信噪比相似的质量度量准则。PSNR定义为图像所容许的最大像素值为255,因此峰值信噪比公式为
在图像质量评价机制中,研究人员发现MSE、SER、PSNR等评价方法有时可能与人的视觉感受出现较大的差异。为此,近年来研究了很多更接近人类视觉特性的客观评价方法。其中,得到广泛应用和认可的是结构相似度(Structural Similarity, SSIM)评价法。
结构相似度评价方法考虑了两幅图像的亮度、对比度和结构等因素相似性的影响。图3-10所示是结构相似度评价算法流程。
图3-10 结构相似度评价算法流程
结构相似度的计算模型为
一般取 α = β = γ =1, l ( x , y )、 c ( x , y )、 s ( x , y )分别为亮度相似度、对比度相似度和结构相似度的度量值,为三个正数,用于调节不同因素的影响权重。亮度、对比度和结构相似度分别定义如下:
其中, μ x 、 μ y 、 σ x 、 σ y 、 σ xy 分别为两幅图像的均值、标准差和协方差; c 1 、 c 2 和 c 3 为三个远小于最大灰度值平方的常数,通常取值为 c 1 =( k 1 L ) 2 , c 2 =( k 2 L ) 2 , c 3 = c 2 /2, k 1 、 k 2 取远小于1的数, L 是指像素的最大值,通常取 k 1 =0.01, k 2 =0.03, L =255,计算方法如下:
该方法基于光照对于物体结构是独立的,而光照改变主要来源于亮度和对比度,所以它将亮度和对比度从图像的结构信息中分离出来,并结合结构信息对图像质量进行评价。基于这一类原理的方法,在一定程度上避开了自然图像内容的复杂性以及多通道的去相关问题,直接评价图像的结构相似性。SSIM的值域范围为[0,1],并且满足距离度量的三个性质。
1)对称性:SSIM( x , y )=SSIM( y , x )。
2)有界性:0≤SSIM( x , y )≤1。
3)最大值唯一性:SSIM( x , y )=1⇔ x = y 。
考虑到图像的亮度和对比度与图像内容具有密不可分的关系,无论是亮度还是对比度,在图像的不同位置可能有不同的值。因此,实际应用中通常可将图像分为多个子块,分别计算各个子块的结构相似度,然后由各个子块的结构相似度计算出平均结构相似度,以该平均值作为两幅图像的结构相似度。