下载掌阅APP，畅读海量书库
立即打开
时变图像序列光流计算技术的研究大致有以下几个方向：①研究解决光流计算不适定问题的方法；②研究光流计算基本等式的不连续性问题；③研究直线光流等特征光流的计算技术；④研究由光流场重建物体三维运动和结构的理论与方法。
1981 年，Horn等人在相邻图像时间间隔很小，且图像中灰度变化也很小的前提下推导出灰度图像光流场计算的基本等式：
式（1-1）中（u，ν）是时刻t时图像中某一像素点沿图像平面X，Y轴方向的速度矢量，即该点的光流矢量。式（1-1）中包含两个未知数，但只有一个方程，因此，式（1-1）的解有无穷多，显然这是一个不适定问题。Horn最早应用变分原理，通过添加全局平滑约束项，采用全局约束的方法解决了光流场计算的不适定问题。Lucas在处理不适定问题时假设在像素点邻域内速度相等，使用局部最小二乘法计算出稀疏光流场。
而后的 20 年里关于光流计算的新理论和新算法不断涌现，这些方法大概可以分为以下几种：微分法（Differential Methods），区域匹配法（Region-Based Matching），能量法（Energy-Based Methods），相位法（Phase-Based Methods）等。其中具有代表性的研究主要有：Nagel为了克服传统光流计算方法在运动边界计算的不准确，提出了有向平滑约束思想；Black和Anandan引入统计学中的统计函数降低溢出点干扰数据对光流计算的影响；Lauze提出由粗到精、多分辨率分层细化的方法，通过金字塔变换将原始图像序列分成不同分辨率的图层，解决图像中存在大位移运动时光流计算精度较差的问题，但是此方法不适用于计算非刚体运动中的形变较大部分；Kim等人利用加性因素和乘性因素来消除光照对光流计算的影响；Papenberg对变分模型中的数据项进行了总结和分类，并讨论了它们的非线性形式，通过应用分层细化策略、光流计算变形技术得到了较为精确的计算结果；Barron对前一阶段的代表性工作做了总结，并对各种算法的性能做了比较，结果表明，基于微分的光流计算方法总体性能最优，Jonathan的系统评估测试也证实了这一结论。
此后的光流计算技术研究进展较为缓慢，主要是光流计算本身存在的一些难点和问题，如光流计算的可靠性问题、运动边界遮挡问题和复杂背景运动问题、光流计算效率的问题等。近些年，随着计算机硬件水平的不断提高，以及偏微分方程、张量分析等数学方法在图像分析中的不断渗透，光流计算技术在计算效率、计算精度和可靠性等方面取得了较大的进展。以Weickert为首的德国曼海姆大学计算机视觉研究中心针对复杂场景下点光流计算的鲁棒性、图像中存在剧烈光照变化时的点光流计算精度及光流计算效率等问题展开了大量的研究，取得了较多的研究成果，被认为是光流计算技术的重大突破。Roth提出了场景中含有镜面等反射物体时的光流计算方法。Black将空间统计理论和马尔可夫随机场引入到光流计算中。Brox针对由粗到精、多分辨率分层细化策略计算非刚体运动的限制，将变分方法与匹配方法相结合解决了非刚体运动大位移光流计算问题。Baker等人对现有的各种光流检测、分割方法进行了系统地比较与分析，提出了一整套客观的性能评价方法，并提供了标准的测试图像序列，为光流计算及基于光流的目标检测与分割等后续研究奠定了基础。
国内一些学者也非常关注图像序列光流计算理论与方法的研究。其中，复旦大学吴立德教授领导的课题组提出了光流计算的多通道方法，利用多通道技术将图像分割和光流计算相结合，使连续处理方法也能适用于多物体有遮挡的运动场景。陈震对时变图像光流计算方法和存在的问题进行了总结，并对研究前景指出了一些可能的方向。张建明提出了一种局部和全局相结合的方法，采用五点光流约束的局部方法结合全局方法，计算得到了既致密又有较好鲁棒性的光流。梁晓云等人设计了一种基于快速滤波器组的光流计算方法，采用解析小波的方法计算光流，该方法能较好地对运动物体进行光流估计。卢宗庆提出了一种基于图像梯度矢量场的双向广义动态图像模型的光流计算方法，在图像梯度场上进行光流估计以减弱光照变化带来的影响，将一个大的运动矢量分解为两个不同方向的子矢量进行估计，有助于减小估计误差，提高计算精度。关键、段惠等人在几何代数域内推导了光流约束方程的新形式，通过求解关于初值问题的热传导方程求解光流。随着神经动力学在计算机视觉中的不断深入，对光流场计算研究也产生了深远的影响，神经网络方法将成为光流技术的一个发展方向。
由于在光流计算基本等式的推导过程中使用了泰勒级数展开，这隐含了认为灰度变化及速度场的变化都是连续的假设，但在实际情况中，图像中的灰度变化及速度场都可能出现不连续性。例如，景物中各个独立的表面就使光流的速度场成为非连续的。另外，光流计算基本等式在出现这种不连续时是否仍然成立是一个值得讨论的问题。
这方面具有代表性的研究是由日本学者Mukawa提出的，Mukawa考虑到光流场计算基本等式由于应用了泰勒级数展开，实际上是不连续的，故引入一个修正因子q，并使q=I（x+ Δx，y+ Δy，t+ Δt） −I（x，y，t），这样光流场计算基本等式就修正为
式（1-2）中，修正因子q可以由物体的运动和投影模型求出，这样就可以较好地解决光流计算基本等式的不连续问题。
很多情况下，由于灰度变化及速度场的变化都是不连续的，应用光流场计算基本等式，理论上只能求解位移变化小于 1 像素的连续两帧图像的光流。为了求得大位移情况下的光流，Alvarez等人对光流场计算基本公式做了如下 3 方面的改进：①避免由不同图像中灰度和亮度条件引起的矛盾；②用一个逐步精确的线性刻度，以避免其收敛于不相关的局部最小值；③建立一个能量函数使其成为线性亮度变化下的不变量。经过改进，Alvarez等人提出的方法可以计算超过 10 像素的位移，且效果极佳，准确率很高。
光流计算作为计算机视觉的重要组成部分，其主要作用是作为中间介质重建三维物体的运动和结构。基于点光流的三维重建方法在计算精度、计算效率和鲁棒性分析等方面已经进行了较充分的研究，也取得了一些较好的理论与方法。但由于该方法只是利用了图像中“像素点”这一最小度量单位，在很多领域还无法满足实际要求。直线是计算机视觉中最常用的一种特征信息，相对于单个像素点，直线特征的抽象层次更高，能够提供更多的拓扑结构信息。与曲线、平面等特征相比，直线更易于检测与匹配，计算的复杂度较低，且曲线可以由分段直线逐段表达，而平面则可以由直线组合表达，因此越来越多的研究人员关注基于直线光流的三维重建研究。针对某些场景下可供利用的直线数量较少的情况，Kollmann提出了一种只需要利用三帧图像中的 2 条直线段就可以计算出摄像机运动的 6 个参数的方法。为了得到精确的三维运动参数，Mosaddegh利用直线的光度守恒假设，提出了一种基于直线邻域匹配的运动估计与三维重建方法，提高了重建算法的精度。针对大规模场景的三维重建问题，Mirzaei使用全局优化的方法，首先利用图像序列中的对应直线特征估计旋转速度，然后采用分步迭代的方法计算出对应的三维结构参数，可以实现大规模场景的三维重建。针对不规则表面的重建问题，Liu将分水岭算法引入基于直线的三维重建中，以多条直线段来代替曲线，设计了一种适合复杂表面刚体的重建方法。当可提供的图像序列数量较少时，Elqursh设计了一种只需要两帧图像中的两条平行直线和一条正交直线就可以估计目标物体的运动参数并恢复其三维结构的新方法。
在基于直线光流的三维重建方法中，图像序列中直线光流的检测、跟踪及匹配是十分重要的环节，图像直线光流匹配的准确度和速度直接关系到整个三维重建算法的精度与效率。Lee通过将直线段端点坐标作为直线的参数，提出了一种基于离散Hough变化的直线检测方法，有效地提高了直线检测的精度。Fernandes针对直线检测效率较慢的问题，给出了快速Hough直线检测方法。Rehbinder提出了一种基于扩展卡尔曼滤波的直线跟踪算法，改变了传统的人工匹配方法，大大提高了直线匹配的正确率。He使用全局方法对直线匹配进行约束，通过重新定义直线段的几何描述，设计出适合最小二乘法计算的匹配模型。这些方法对基于直线特征的三维重建算法提供了大量的帮助，极大地促进了直线重建算法在计算精度、计算效率及鲁棒性等方面的提高。
三维场景中，一个刚体上的 6 个运动参数是相同的。如果能得到来自刚体不同部分的光流信息，就可以利用这些光流信息同时估计出三维运动的 6 个参数。其中最具代表性的研究是Adiv的全局光流三维重建技术，Adiv把整个分析过程分为如下两大步：将得到的光流场分成若干区域，每个区域对应空间中一个平面的运动；然后将分割出的彼此连接部分进一步编组，使其对应单个的刚体目标，进而通过假设，估算出三维运动的参数与结构信息。其所提供的运动参数是旋转参数、平移运动的方向及空间表面的相对深度。在得到图像序列点光流的计算结果后，Nehab使用图像深度守恒约束对连续几帧图像的点光流进行匹配，然后求解出物体三维运动参数与结构，有效地提高了重建算法的精度。针对重建算法的鲁棒性问题，Kolev根据最大流-最小割原理提出了一种基于点光流的三维重建方法，并分别提出三种不同的计算模型，实验表明基于全局约束与局部约束相结合的重建模型计算精度最高、鲁棒性最好。Newcombe提出了一种基于近似邻域约束的光流场三维重建方法，可以快速地计算出摄像机三维运动参数及图像中场景的相对深度坐标，解决了光流重建算法时间消耗较大的问题。Lee在得到精确的点光流值后，使用概率分布的方法来判断目标物体重建时的边缘轮廓，该方法为图像中存在运动遮挡时的三维重建技术提供了可能的解决办法。
一般情况下，点光流三维重建方法都是先计算出图像序列的点光流值，然后选择合适的算法来重建目标物体三维结构与运动，而“光流计算”这一中间过程往往会给重建算法带来较大的时间消耗与计算误差。针对这一缺点，Mitiche通过将图像中像素点光流与三维点的运动速度联系起来，构造出一个未知参数是三维运动速度的约束守恒公式，并使用最小描述长度原理对设计的光流场三维运动检测算法进行约束，可以较准确地估计目标物体的三维运动速度，但该方法只适合估计平移运动速度。Sekkati在Mitiche的基础上通过引入正则化因子，构建了由光流直接求解运动速度的模型，并采用迭代的方法计算物体的运动速度。实验证明该方法在处理简单运动时具有较好的计算精度。Perriollat使用距离守恒假设对点光流重建模型进行约束，并使用时空滤波对点光流进行平滑过滤，使得重建算法可以应用在非刚性物体的三维重建问题中。Srinivasan用一种称之为“快速误差搜索技术”的方法，建立了一个包含旋转运动参数和深度信息等未知量的线性方程组，该方法不去求解该方程组的解，而去求得方程组的最小二乘误差，然后用求得的误差构造一个误差平面，从而得到三维物体的结构。Srinivasan不仅从理论上证明了该方法的正确性，而且通过一系列实验，证明该方法的有效性和计算的高效性。他的方法大大推进了三维物体结构恢复的研究。