前言

基于图像的3D重构是计算机视觉领域的研究热点，被广泛应用于航空航天、机械制造、医疗、考古、地质、犯罪现场复原、建筑设计、城市规划等领域。相对于较成熟的多视图或多幅图像的3D重构技术，基于单幅图像的3D表面重构由于其先天性约束不足和潜在的巨大价值受到各国研究人员前所未有的关注。本书针对现有单图像3D重构技术中的SFS、SFT等两种典型方案的局限性，分别提出有针对性的改进措施，并提出一种新的基于图像中几何元素共平面性约束的3D表面重构方案。

第一，针对SFS类方法大多严重依赖边界条件和初始假定解而可能导致多重解、无解或局部解的歧义性问题，提出基于表面可积性条件将 SFS 求解目标规划为一个仅含二次项约束的多项式系统，使用同伦分析方法提高解的存在概率和解的精确度；基于精确线搜索技术，通过设计新的平滑项优化迭代过程，加快收敛速度；针对多项式系统可能存在非凸项问题，构造对应的SDP凸松弛，使SFS摆脱了对初始假定解的严重依赖性，确保 SFS 迭代收敛于一个全局极小值，从而获得闭合解。实验结果表明，这种方案大大提高了 SFS 求解过程的高效性和结果的普适性，而且对弹性表面和非弹性表面都有较好的重构效果。

第二，将纹理表面中普遍存在的局部面片法向倒置等二进制歧义性归结为一种离散判定问题，首先将表面表示为一个张量积基函数的线性组合，用离散变量描述该歧义性，进而定义一个二次目标函数来度量表面平滑度和约束满足度，通过消除连续变量产生一个仅含离散变量的二次目标函数，再使用SDP凸松弛法，将离散变量嵌入一个连续高维空间，通过基于分裂惯性和角扫描的圆整操作将离散变量归约到一个低维空间，最后通过最大割算法获得较理想的解。上述方案比传统的椭球法高效且成本低，还可进一步使用K-L算法改善局部搜索过程，消除错误割点，有效提高解的精确度。

第三，针对图像中几何元素的共平面性可提供景深信息的特点，提出一种基于交叉平坦曲线共平面约束的新的3D表面重构方案，即对于不平行于投影方向的某一个平面，根据其所含曲线与另一平面中某曲线的交叉构型构造一个线性系统，当一组这样的交叉曲线位于拟求解表面时，可获得该系统的精确解空间。对于含噪系统，增加新的约束条件，使用 SVD 法可得到逼近解。再利用正投影和透视投影的等价性，可将透视投影转化为正投影，从而将这两种投影下的3D表面重构归入到一个框架中。实验表明，这种方法大大提高了单图像3D表面重构的健壮性，可适用于完全未标定结构光等真实场景。

本书在内容安排上按照由浅入深、由简到繁、由基础点到专业体系的基本思路来组织素材，力求在理论讲解上既不空洞又有趣味，在技术实现上要求可操作型强，让读者一看就懂、一试就成功，目的是激发读者的尝试欲望，培养、提高读者的实践能力。

本书的组织结构如图 0-1 所示（其中数字代表章节序号）。具体内容介绍如下。

图0-1 本书的组织结构图

第1章，首先介绍计算机视觉的基本概念，接着讨论基于图像的3D表面重构的发展概况及数学原理，重点分析基于单幅图像的3D表面重构技术的非适定现象，最后简要总结了各种歧义性问题，并由此提出3种基本的约束模式。

第2章，扼要介绍3D表面的形式定义及成像模型，着重分析平滑表面成为局部平面的必要条件，并简单讨论Lambertian表面的假设条件，以及单光源假设的合理性和必要性。最后系统介绍同伦分析法（Homotopy Analysis Methed，HAM）和半定规划（Semi-Definite Programming，SDP）两种较流行的优化方法。

第3章，介绍SFS方法的理论基础及存在的问题，提出将SFS问题规划为多项式结构，再讨论如何将成熟的同伦分析法、优化线搜索法和半定规划法等用于求解多项式。

第4章，介绍表面纹理的二进制歧义性，提出将含二进制歧义性的SFT归结为一个离散判定问题，再通过半定规划凸松弛、圆整操作和最大割算法等步骤获得较理想的逼近解。

第5章，介绍图像中几何元素的共平面性特征，并提出一种基于交叉平坦曲线的共平面约束的3D表面重构方法。

第6章，总结本书所做的工作，对主要创新点分别做了小结，并对未来研究方向提出了展望。

本书在写作过程中得到了王志坚教授、娄渊胜教授、吕鑫博士以及其他很多热心人士的帮助与支持，感谢内江师范学院的领导及各位同人，感谢他们为全书的整体性构思提供了许多建设性的建议，感谢他们为本书提供了实验平台，还有其他为本书进行过文字校对、排版的老师及同学，此处不再一一列出，在此一并表示最诚挚的谢意！

虽然作者主观上做了最大的努力，但由于本身的水平有限，加上时间仓促，难免存在一些不足。“他山之石，可以攻玉”，真诚地希望使用或阅读本书的读者给予批评指正，不吝赐教。

于永彦
2020年7月3日于四川内江