购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

天衣无缝的视频修复

撰文│ 布里·芬戈尔德(Brie Finegold)
翻译│ 徐欣

新开发的图像修复软件采用了一种新的计算规则,能让计算机自动修复影片图像,迅速而且天衣无缝。

细心的电影观众可能已经注意到了,在彼得·杰克逊(Peter Jackson)执导的电影《指环王》第一部《护戒使者》的一个场景中,一辆旅行车拖着尾气一闪而过。现在人们使用的工具,如Adobe软件系列的“修复笔刷”工具,可以轻易处理和修复图像中的小瑕疵。但如果是对图像进行大块的修复处理,软件使用者就必须不厌其烦地重复同一个动作:切取小块的图像,然后将它们粘贴在需要被除去的部分上面。除非修改幅度很小,否则这种方法创造的图像效果就不敢恭维:在后来的《护戒使者》DVD(数字视频光盘)中,电影中出现过旅行车的地方变成了一个可见的模糊斑点。

新近开发的软件使用了先进的数学算法,也许能很快改变这种情况。它能帮助视频编辑人员自动掩盖影片中的移动物体,迅速且毫无破绽。美国明尼苏达大学的计算机科学家吉列尔莫·萨皮罗(Guillermo Sapiro)是这个软件的总开发师,按照他的说法,这种新开发的软件甚至能够移除遮挡其他东西的巨大移动物体。

萨皮罗对视频修复的知识建立在先前对静态图片的处理经验上。早在1998年,萨皮罗和他的3个同事在巴黎见识了传统艺术修复大师的修复技巧:他们先从受损物品的边缘入手,将物品的基本组织结构由外向内修补,然后根据图像的色饱和度(颜色的纯度)上色。研究人员模仿修复大师的工作程序,先从黑白图像开始,将这些艺术家的技术编译成数学算法(具体地说,就是偏微分方程),这种数学算法可以描述图像在各个方向上色饱和度的改变情况。

举例来说,在一张缺了一块圆形区域的桥梁图片中,这种软件能像那些修复大师一样,从圆形缺片的边缘开始向内部修补。软件的数学算法还集成了一种功能,可以在修补处理的同时,将一组特殊的曲线(也就是等亮度线,每条线上的图像色饱和度都完全相同)延伸到圆形缺片之中。当灰度色调沿着这些等亮度线由外向内填满整个圆形缺片时,图像修复过程也就完成了。萨皮罗解释说:“这种由外向内进行衍生修补的方式,是最近所有图像修复技术的共同方案。”对于彩色图像,研究人员也可以先分别计算3种基本色(红色、绿色和蓝色)的色饱和度,再将它们合并起来。美国国家航空航天局(NASA)曾经使用这种方法来修复金星的图像。

这些技术突破应用于视频影像看起来非常简单,只需要对影片的每一帧图像加以修复就可以了。这种做法也许过于直接,因为它可能产生如同波浪一样漂浮不定的画面,甚至可能根本不起作用。举例来说,一帧画面中一件T恤上的图案被遮住了,如果单将这一帧输入图像程序,它就能修复出一件不带图案的完美T恤。但是经过这样的修复,视频影像中T恤的图案就会时隐时现,这样的修复显然不能算成功。不过一种能够利用视频影像时间连续性的程序,就能修复T恤上的图案。它可以从前后的其他帧中提取出没被遮挡的T恤图案,将图案叠加上去,完成对视频影像的修复。

如同液体流动一般的修复过程

视频文件修复软件的数学算法与纳维-斯托克方程式类似,后者从数学上描述了液体的运动,并且得到了广泛的研究。颜色就如同液体一样,流入空洞(照片上数据丢失的圆形区域),沿着障碍物(边界分明的图像轮廓)的边缘扩散。这种类似性激发了美国明尼苏达大学的计算机科学家吉列尔莫·萨皮罗和他的同事的想法,他们利用一种与预测液体流动方式的技术相似的数学算法,实现了视频影像的自动修复。

单帧画面的拼合叠加确定了数据损坏的范围

为了将时间连续性添加到修复算法之中,研究人员把时间视为第三维。如果把一段视频看成是一本厚厚的书,每一帧图像是书中的一页,在影片中平滑移动的图像数据丢失部分,就是一只扭曲着身体前行的蠕虫在书中咬出的空洞,洞的长度就是影片中受损图像持续出现的时间。一旦洞的时空边界被确定下来,程序就可以修复蠕虫咬出的三维空洞,同时修复每一帧二维图像上的数据损坏,创造出流畅的视频画质。对程序使用者来说,幸运的是,他们只需要确定一帧画面中的图像错误,程序就能自动将视频文件里静态的图像与动态部分分辨出来,提取出蠕虫咬出的整个空洞。

萨皮罗的算法还没有应用在商业软件中,萨皮罗和他的同事仍然在继续改进他的算法。在一篇论文中,萨皮罗与来自美国明尼苏达大学的凯达尔·帕特瓦尔丹(Kedar Patwardhan)和西班牙巴塞罗那的庞佩乌·法布拉大学的马塞尔·贝尔塔米罗(Marcel Bertalmio)一起,描述了一种速度更快的计算方法,并且这种方法能够处理摄像机在变焦时拍摄的图像。至今为止,没有一种软件能够移除不断放大或者缩小的物体,当摄像机对准某一目标被拉近或者拉远镜头时,就会产生这样的效果。同时,也没有哪种运算方法能够处理飘忽不定的移动物体。当科学家战胜这些困难的时候,他们也许就能让罗列出《泰坦尼克号》182处错误的网站关门了,比如moviemistakes.com。 Hxvn4hdsfM8a/9wu0QJlp2QpX35TZx58D994G1biZMfI6b4rSaHZyssn6aWRtU5c

点击中间区域
呼出菜单
上一章
目录
下一章
×