下载掌阅APP，畅读海量书库
立即打开
在已知单目照相机各参数的条件下，只能得到关于空间点 P ( x , y , z ) 的两个线性方程，将投影点确定到一条射线上，而无法唯一确定对应真实世界的三维坐标，其原因可以用图3-3所示的像素点 P 可能存在的位置来说明。对于像素坐标系下的某像素点 P ，从照相机光心到像素点 P 连线上的所有像素点都可以认为是空间点目标可能的位置。只有当像素点 P 的深度确定时，才能确定空间点目标的空间位置。因此，需要增加一个照相机来唯一确定真实世界的三维坐标，这就是双目照相机在计算机视觉中被广泛应用于深度测量的重要原因。
图3-3 像素点 P 可能存在的位置
测量像素点距离（深度）的方式有很多种，如人眼可以根据左眼和右眼看到的物体差异（视差）来判断物体与我们之间的距离。双目照相机的原理就是通过同步采集左右照相机的图像，计算图像之间的视差来估计每个像素点的深度。图3-4所示为双目照相机成像模型，其中， O L 、 O R 分别为左、右光圈中心，方框为图像平面， f 为焦距， u L 和 u R 分别为物体在左、右图像平面的坐标。
图3-4 双目照相机成像模型
双目照相机一般由左眼照相机和右眼照相机两台水平放置的照相机组成，也可以由垂直放置的两台照相机组成，即做成上下两个目，但通常见到的主流双目照相机都是左右形式的。在双目照相机中，可以把两台照相机都看作针孔照相机。它们是水平放置的，意味着两台照相机的光圈中心都在 x 轴上。两者之间的距离称为双目照相机的基线（Baseline），通常记作 b ，是双目照相机的重要参数。
考虑一个空间点 P ，它在左眼照相机和右眼照相机中各自成像，记作 P L 、 P R 。由于双目照相机基线的存在，这两个成像位置是不同的。理想情况下，由于左眼照相机和右眼照相机只在 x 轴上有位移，因此 P 点的成像也只在 x 轴（对应像素坐标系的 u 轴）上有差异。 P 点的左侧坐标记作 u L ，右侧坐标记作 u R ，这样， P 点及其在左眼图像和右眼图像的像素点的几何关系如图3-4右侧所示。根据Δ P P L P R 和Δ P O L O R 的相似关系，有
（3-6）
整理可得
（3-7）
式中， d =| u L - u R |，表示左眼图像和右眼图像的横坐标之差，称为视差。根据视差，可以估计一个像素点与照相机之间的深度。视差与深度成反比，即视差越大，深度越小。同时，由于视差的最小值为一个像素值，所以双目照相机所能测得的深度存在一个理论上的最大值，由 b f 确定。可以看到，当基线越长时，双目照相机能测得的最大深度就会越大；反之，小型双目照相机则只能测量很小的深度。相似地，人们在看远距离的物体时，通常不能准确判断其距离。
虽然由视差计算深度的公式很简洁，但视差本身的计算比较困难。这需要确切地知道左眼图像某个像素点出现在右眼图像的哪个位置（对应关系），属于“人类觉得容易而计算机觉得困难”的任务。在计算每个像素点的深度时，计算量与精度都将成为问题，且只有在图像纹理变化丰富的地方才能计算视差。由于计算量的原因，双目照相机的深度估计仍需要使用GPU或FPGA来计算。