前面提到的光流计算问题基本上都是针对灰度图像序列进行的研究,而在现实生活中,人们常常见到的是物体和场景的彩色图像,随着人们对彩色图像形成机理的研究进一步深入,有学者提出了彩色时变图像光流的计算问题。最初引入彩色时变图像的目的是为了解决光流计算基本等式的不适定问题。
在图像处理过程中,常常把一幅彩色图像分解成三基色的 3 幅图像,以便于分析图像中的某些特征,这样彩色时变图像光流的计算问题便可以充分利用这些特征,下面列举几种针对彩色图像序列光流计算的研究方法。
1990 年,日本NEC公司的Ohta提出一种基于色彩灰度不变的光流计算模型。在该计算模型中,彩色图像被看做是R、G、B三个独立图像的混合,由于它们在图像处理中的地位是相等的,并且认为图像中某点处的R、G、B的量在运动过程中保持不变,因此可以分别用R、G、B三个通道的独立图像来计算图像中每一点处的光流。把 3 个彩色分量分别代入光流场计算的基本公式,即
式(1-5)中有 3 个等式,而只需要求解两个未知量即可,显然这是一个超定方程组,因此可以用广义逆的方法求解。令
则式(1-5)可以写为
那么式(1-5)的解为
利用上述方法可以计算出图像上每一点的光流,此后有人用实验验证了该方法,实验结果表明,该方法对于图像噪声的抗干扰能力很强,且在处理平行于投影平面的移动场景时能得到较精确结果,但是如果在处理转动场景或垂直于投影平面的移动场景等复杂运动时,则计算误差很大。Lai提出的方法与Ohta的方法在原理上一样,只不过Lai把该方法运用于非刚性物体运动的求解。不仅如此,Lai还对非刚性物体的运动恢复做了研究。
1997 年以色列学者Golland又提出了一种基于色彩自身不变的新分析方法。该方法也是把彩色图像看做R、G、B三个独立图像的混合,而从物体光照模型的角度还可得出
其中,S(λ)为输入频谱,它与场景光照、物体表面反射率和反射表面的几何性质有关,还随着物体运动而变化,且场景变化越快,由其引入基本等式的误差也就越大。D i (λ)为光传感器的灵敏度函数。
物体在某一点τ处,反射光的能量分布
与入射光的能量分布I(λ,τ)存在一定的比例关系,用公式表示为
其中,
为比例因子。这里的角度
分别表示τ点处光线的入射角、反射角及物体表面τ点处法线的方向。实验证明,由于比例因子
可以分解成频谱分量因子ρ(λ)和几何分量因子
两个独立的因子,因此反射光的能量分布
就可以写成
将式(1-11)代入式(1-9)则有
因为几何分量因子
与入射光波长λ无关,所以可以移至积分号外,即
定义一个物体色彩特征不变量C i ,C i 的公式表示为
式(1-14)中,发射函数的频谱分量因子ρ(λ)表示物体的颜色属性,它与场景的几何形状及光照属性无关,仅代表物体的颜色属性,且在物体运动时保持不变。另外,光传感器的灵敏度函数D i (λ)也不随场景变化而变化。由于入射光的能量分布I(λ)变化很慢,以致可以假设其在很小的时间区域内保持不变,因此C i 在物体运动或照相机运动时也均保持不变。因为物体的颜色在运动过程中保持不变,表示颜色的量在某一特定光照下也不变,所以可以用于光流场计算。
虽然不能直接从R、G、B的值中提取C i ,但是由于任何两个R、G、B值线性组合的变化率等于相应C i 值的变化率,因此为避免任何两个R、G、B值的梯度线性相关,可以用R、G、B的法向权r、g、b来计算,其中
令: F 1 = r,F 2 =g,则有
Golland用两种颜色模型(RGB和HSV)分别对各种复杂相对运动进行计算,结果表明,该方法适用于各种复杂相对运动。类似于基于梯度的方法,该方法是在假设函数梯度存在的前提下提出的,因此,如果图像梯度的量级与图像噪声相比很小,则该方法失效。该方法另一个可能的失效原因是等式线性相关,即所有颜色函数的梯度变化相同,这可能发生在合成图像中,而在真实图像中这种情况几乎不可能发生。