1.4 机器视觉与计算成像

计算摄像学或计算成像（Computational Photography）是综合了机器视觉、计算机图形学、人工智能、信号处理等技术的新兴领域。在计算成像中通常会在传感数据采用图像分析与处理算法获得超越传统成像系统能力的图像。传统成像通常输出的为图像，而计算成像输出数据需要进一步计算获得最终的图像数据。计算成像综合了以前端光学和后端信号处理一体化设计为代表的联合处理方式，并将其命名为“Computational Photography”，标志着计算光学成像的诞生。计算成像发展迅速，其中以单光子成像、单像素成像、非视觉成像、偏振成像、光场成像、事件相机成像、多光谱成像、Fourier叠层成像、散射介质成像等为代表的计算成像技术极大克服了传统成像的局限性，在越来越多的领域得到广泛的应用。

1.4.1 单光子成像

单光子成像是面向极低光照成像条件下的高灵敏成像。单光子成像是固态成像技术的拓展，光电探测过程的灵敏度可以通过系统设计得到提高，直到最终能探测单个光子到达的光子。

中国科学技术大学徐飞虎教授等人提出了高效的少光子计算成像算法，首次实现每个像素只探测一个光子的超低光、高灵敏三维成像。单光子成像技术通过脉冲激光照射目标，在回波光子数极少的情况下，采用大口径光学镜头进行收集，通过单光子探测器记录光子到达时间，并由光子计数器记录信号个数，并基于泊松统计的方法，通过增大重复次数，可累积出目标光强信息与距离信息，从而实现对目标的灰度成像及三维成像。2019年，该算法打破了单光子三维成像的最远距离记录，能够以每像素1光子的灵敏度对45km远的物体成像。中国科学技术大学潘建伟院士、徐飞虎教授等实现超过200km的远距离单光子三维成像，首次将成像距离从十公里突破到百公里量级（见图1-6），为远距离目标识别、对地观测等领域应用开辟出新道路。

1.4.2 单像素成像

单像素成像是近年来被广泛研究的一种新型成像技术。单像素相机在照明端采取结构光照明，在探测端采用单像素光强探测器收集信号。当照明结构发生变化时，相应的物光光强的变化反映出照明结构与物体空间信息之间的关联程度。通过不断变化照明结构并累积关联信息，最终实现对物体的成像。由于单像素相机在探测端只需要光强探测，它对探测器的要求远远低于普通成像中的面阵探测器。如图1-7所示，光源发出的光经过成像物体反射通过透镜会聚到空间光调制器（DMD），被单像素探测获取。然后通过对空间光调制器的图案和单像素探测器的信号进行运算可重构出物体的图像。

该技术仅使用不具备空间分辨能力的单像素探测器来获取目标的空间信息，将成像探测器的像素规模压缩到极限，具有弥补面阵成像技术不足的独特优势。因此在面阵探测器相对不成熟或较昂贵的特殊波段成像中具有巨大的应用价值。经过科学家们近三十年的研究和探索，目前单像素成像技术已取得了巨大突破和显著进步。然而，由于单像素成像独特的成像机制，其成像速度一直受到另一个核心器件：空间光调制器的刷新速度的限制。空间光调制器的刷新速度制约了单像素成像速度。动态场景的单像素成像是该领域研究的重点内容之一。

1.4.3 偏振成像

偏振成像相机通过在传统相机成像芯片前放置多向偏振光学元件过滤其他偏振方向的光，保存偏振光方向的光线，得到传感器偏振强度。图1-8为分焦面成像原理图，多向偏振元件使得进入每个相机光感器芯片像元的光为单一偏振方向，实现相机传感器每个像素点的光强信息为单一偏振方向。通常，商业上所用的偏光传感器芯片搭载了4向偏光元件，单次采集可获取0°、45°、90°和135°方向偏振光数据。

与传统成像相比，偏振成像可提供偏振度、偏振角、斯托克斯等参数，在偏振去雾成像、偏振导航、生物医学成像、工业视觉反光去除方面具有巨大的潜力。此外，通过偏振成像实现三维重建也是计算机三维视觉中的重要的三维重建方式。通过偏振参数计算物体表面法向量，可进而重建物体深度信息。目前，单独使用偏振信息重建三维表面存在方位角歧义、天顶角偏差等问题，影响重建结果准确性。

1.4.4 光场成像

1936年，Gershun初次定义了光场的早期模型，提出了一个光矢量的计算方法。对于由一组点源产生的光场，在某点的合成光矢量定义为每个光源的光矢量的和，每一个分量矢量都沿着从光源到该点的射线方向，可知它的矢量长度等于光源产生的正常照度。因为空间照度是法向照度的标量和，光矢量是法向照度的向量和，那么光矢量是由已知的亮度分布实体计算出来的。

相机阵列和微透镜阵列成像是光场相机成像的代表。图1-9中左边为相机阵列光场成像，右边是微透镜光场。微透镜阵列相机的分辨率是目前制约光场成像性能的主要瓶颈之一，光场成像超分辨是光场成像研究的主要内容之一。

光场成像可提供多视图、重建聚焦等功能，在合成孔径成像、深度估计方面具有独特的优势。通过相机阵列合成孔径实现，研究人员实现了隐藏在物体后面的目标成像。通过相机阵列以及微透镜阵列成像，可实现先拍照再对焦功能，克服传统成像景深限制问题。利用光场相机多视图特点，可实现深度估计。

1.4.5 事件相机

传统数码相机以图像和视频为表达形式。传统相机无法记录曝光时间内的光学变化过程。几十Hz的相机无法拍摄高速场景，而使用拍摄场景高速相机成本较高。生理学家发现生物视网膜中存在对运动敏感的神经元。在生物视觉系统中，不存在图像序列。生物视觉领域研究生物眼睛并非像照相机那样向大脑传送帧的图像，而是采用异步脉冲序列的方式向大脑报告光学变化。事件相机源于生物视觉这一特性。事件相机感光单元仅在亮度变化超过阈值时才会产生事件。如图1-10所示，传统相机以帧率输出图像信号，而事件相机根据亮度变化以事件流的方式在时间尺度上以微秒级别单位异步输出变化信号。

事件相机相较于传统图像传感器具有高动态、高速等特性，可以解决很多在传统相机领域遇到的瓶颈问题，比如高速采集带来的运动模糊等相关问题。利用事件相机作为信号辅助，可以提升图像中的帧率和质量，用于图像增强、视频插帧、深度估计等方面。 hnJPaodT9Ae5HVxczk7Db4R5UkQRN+SoBr6GTmEjSjhAZ0ktDT12m59GcWK6zEIc