每一段失意都是散落的珍珠

罗 璇（2011级）

其实我科研的开始一直都不大顺利。本科期间做了立体匹配。现在回想起来当时的自己也就学了些皮毛，发表论文也自然不是特别顺利。博士期间机缘巧合开始做一个异想天开的课题——如何才能仿佛回到过去，再次会见马克·吐温。当时发现了大量的历史人物和场景的双目照片，希望能3D重现历史人物、重新体验历史事件。那时还没有NeRF，新视角合成（novel view synthesis）也还没有那么主流，但正是开始各类探索、百家争鸣的时期。虽然这个领域有了巨大的进步，但依旧无法解决我的问题。回想起来主要有三个方面的问题：①历史照片质量差：模糊、对比度低、有artifact，导致计算匹配难度大。②历史相机质量差且信息不全：相机校准参数未知，镜头畸变严重。③缺乏多视角的照片（multi-view supervision）来作为训练数据。当时在有这些训练数据的情况下都不能好好解决。而我处理历史照片不可能真的回到过去重新拍摄这些数据，历史照片的场景跟现代又非常不同，导致我的问题难上加难。重重阻碍导致我当时项目推进困难。即使后来真的做出来了，图片的质量也影响了我们最后生成结果的质量，审稿那儿也层层受阻。

可正是在做这个项目的时候我发现了一些有趣的问题——虽然我们能3D重现历史照片，黑白且静态的3D可视化结果（3D visualization）依旧缺乏生气，跟理想中的穿越时空重新体验历史有很大的差距。如果是他们能动起来且是彩色的该有多好啊！

在这个项目期间，我也迎来了Meta的实习，一开始谈的时候，我就明确表示希望做3D视频方面的工作，即使只是短视频。正是之前项目的失利才让我看到了这个新的问题，才有了后来许多报道里“水淹厨房”（Consistent Video Depth Estimation）的工作。Meta的这次实习简直是“追星女孩”圆梦之旅。实习期间，我有幸能跟Richard Szeliski合作，而我本科期间立体匹配的入门，靠的正是他的书。当时还遇到了他的老搭档Daniel Scharstein。本科期间做立体匹配刷的benchmark正是他俩的工作。在实习项目中，我之前在做立体匹配和3D历史照片中学到的很多深度估计相关的知识都得以应用。这次实习也让我对所谓“机遇”加深了体会。当时单帧深度估计（single-image depth estimation）刚刚做得比较有起色，从最开始的探索阶段到刚有比较高质量的结果出来。然而，对in-the-wild的动态视频上的深度算法的探索还没开始。我们刚好踩在了这个时间点上，再结合上Meta本身的业务相关性和宣传力，也给这个项目的影响力有了些推动作用。这个经历让我看到了做项目的时机和跟身边资源的匹配度的重要性。

实习结束后回到学校，同样是在3D历史这个项目的启发下，意识到图片质量的重要性，开始了穿越摄影（Time-Travel Rephotography）的工作——希望能重现历史人物当年的样子，仿佛带着现代的相机穿越到古代，给古人们重新拍一张照片。这两个项目让我对科研的过程和选题有了更深的理解。科研就像是挖金矿，往往只看表面是看不到那颗最闪亮的金子的，不能急，很多大的问题确实需要多次探索、数篇文章，才能发现真正的问题，找到真正的宝藏。而且，选题时，应把握住问题和数据的特色。比如双目照片变3D并不是历史数据本身的问题，在现代数据上也是个大问题。放在历史的场景下，反倒增加了难度。而照片修复却是历史数据根本性的问题，更适合从这个角度挖掘。

回顾自己的经历，不禁让我想起了2005年乔布斯在斯坦福的演讲。“你不可能充满预见地将生命的点滴串联起来；只有在你回头看的时候，你才发现这些点点滴滴之间的联系。所以，你要坚信，你现在所经历的将在你未来的生命中串联起来。你不得不相信某些东西，你的直觉、命运、生活、因缘际会……正是这种信仰让我不会失去希望，它让我的人生变得与众不同。”经历高山与低谷是人生的常态。低谷时走过的弯路、经历的挫折，都是一颗颗散落的珍珠。应保有信念，坚持积累，不断提高自己，相信这些散落的珍珠会有一根线将他们串联了起来，成为一串你自己独一无二的“珍珠项链”。