前言

人类视听觉系统可以直接感知与视听觉认知密切相关的图像、语音和文本（语言）信息，但计算机的处理能力远逊于人类视听觉系统，处理效率远不能满足当今社会的发展需求。在图像理解领域，如何借鉴人类的认知机理和数学领域中相关的最新研究成果，建立新的计算模型和方法，从而大幅度提高计算机对此类信息的理解能力与处理效率，已经成为新的研究热点。

近些年，计算机视觉领域中兴起了Computational Photography（计算摄影学）的研究方向，其宗旨是克服成像和显示设备的局限性，用计算技术为视觉世界生成内容丰富、逼真的图像，使其符合人类视觉系统对客观世界的感知。这是一个交叉性很强的研究领域，涉及计算机图形学、计算机视觉、图像处理、视觉感知、光学和传统摄影等技术。在数字图像成像过程中，真实场景、人类视觉系统和显示设备等都具有不同的亮度级别。亮度级别可以用动态范围定义，即图像的最大亮度与最小亮度之比。人类视觉系统和真实场景所具有的亮度动态范围要远远大于显示设备的动态范围。近年来，随着数字摄影和计算机软硬件技术的深入发展，人们在获取HDR场景信息方面已经取得了很大的进步，可以通过专用相机或者软件合成算法生成HDR图像。但是，现有的通用显示设备仅能显示约两个数量级动态范围的亮度，这一状况由于受到硬件成本的制约，短时期内难以改变。由于人们在日常生活和工作中也对高质量的图像有强烈的需求，如照片编辑、便携设备的高质量成像、医用图像增强等，因此可以通过对多曝光图像序列进行融合（即多曝光图像融合）获取细节信息丰富的高质量图像。多曝光图像融合的最终目标是使人类从结果图像获得的感知和其置身于真实环境中一样。经过处理后得到的结果图像不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极意义，所以，多曝光图像融合已经成为计算机视觉领域的一个研究热点。

此外，如何消除光照对颜色中色度的影响，得到一种与光照无关的颜色描述子也是计算机视觉领域的研究热点之一。如果能够真正实现计算机视觉的颜色恒常性功能，则将会给计算机视觉系统带来质的飞跃。颜色恒常性计算的目的是将未知光照条件下的图像矫正为标准白光下的图像。目前，颜色恒常性计算的部分研究成果已经被应用到计算机视觉的许多领域中，如视频监控、人脸监测、物体识别等，但是效果仍不理想，有待进一步提高。同时，颜色恒常性的部分研究成果也已经应用到人们的日常生活中，人们日常使用的数字摄像机的“自动白平衡”功能就是颜色恒常性算法的一个典型应用。

计算摄影学涵盖众多的研究主题， IEEE Computer Graphics & Application 学术期刊曾以专刊形式刊登了计算摄影学方面的论文。自2009年起，国际上每年都以计算摄影学为主题召开IEEE International Conference on Computational Photography学术会议。一些国内外顶级期刊都刊登过该领域的论文。另外，计算机视觉领域的著名国际会议，如ACM SIGGRAPH、ICCV、CVPR、ECCV等均发表过该领域的研究成果。简言之，目前已有越来越多的研究机构和科研工作者投入计算摄影学的研究工作中，该领域的研究方兴未艾、日趋蓬勃。

本书共10章，王金华负责第1、2、6、7、8、9、10章（约19.2万字）的编写和全书的统稿工作，李兵负责第3、4、5章的编写工作。除第1章外，其余章节的安排如下。

第2章梳理颜色恒常性计算模型，对现有算法进行分类介绍，包括无监督颜色恒常性计算、有监督颜色恒常性计算、颜色恒常性融合算法、颜色不变性描述，最后对颜色恒常性计算常用的数据集和评价指标进行详细介绍。

第3章介绍一种基于树结构联合稀疏表示的多线索光照估计框架TGJSR。该框架同时结合低、中、高三个层次的线索所提供的信息进行光照估计。实验表明，它具有较好的性能。作为一个通用框架，TGJSR还可以很容易地进行扩展。

第4章介绍一种基于纹理相似性的自然图像的颜色恒常性算法。利用威布尔分布的参数描述自然图像的纹理特性，根据纹理相似性为图像在训练库中找到最相似的参考图像。参考图像的最优算法为该图像选取最合适的颜色恒常性算法或者算法组合。通过实验结果对算法的性能进行验证。

第5章对自然场景光照估计融合算法进行系统评价。首先对现有的单一颜色恒常性算法和融合算法的基础假设进行分类介绍；然后使用4种不同的误差度量方法对3个图像集上的融合算法进行全面的分析和比较。

第6章介绍基于亮度感知理论的HDR场景再现算法。本章在梳理现有的一些基于人类视觉系统的色调映射算法后，对现有算法的优缺点进行深入分析，并针对现有算法存在的问题提出一种基于双锚亮度感知理论的色调映射算法，通过大量的实验和分析对算法的性能进行验证。

第7章介绍一种基于稀疏表示和可平移复方向金字塔变换的多曝光融合算法。通过多尺度分解得到的低频图像近似模拟原始图像，并利用“原子利用率”设计一种融合规则，实现稀疏表示理论框架的低频信息融合处理。对于高频图像，利用像素的邻域信息作为衡量标准的融合策略，可以获取更多的图像边缘和纹理信息。

第8章介绍一种基于深度学习框架下的多曝光图像融合算法，利用卷积神经网络实现一种端到端的多曝光图像融合。卷积神经网络的输入是多幅具有不同曝光度的图像序列，经过网络直接得到一幅高质量的融合结果图像。通过网络训练过程能够得到不同曝光度的图像和真实场景图像（标准光照）之间的映射关系。最后通过主观和客观的实验比较验证本算法的性能。

第9章介绍一种基于生成对抗网络的多曝光图像融合框架。在该框架中，生成的网络结构采用递归残差网络，目的是在不损失融合结果图像质量的前提下，构建参数更少、计算复杂度更低、网络结构更紧凑的模型结构，使多曝光图像融合算法能够在实际生活中得到更好的应用。实验将对比和分析多种残差网络作为生成网络对融合结果的影响。

第10章对本书中的研究内容和成果进行总结，并对未来需要继续开展的工作做出展望。

在本书的撰写过程中，北京联合大学智慧城市学院的何宁教授对大部分书稿进行了审校，并提出了很多宝贵意见，作者在此表示衷心的感谢。最后，感谢国家自然科学基金项目（61572077，61872042，61871039，U1803119，U1936204）、北京市教委科技计划项目（KM202111417009、CIT&TCD 201704069）、北京市自然科学基金杰出青年基金项目（JQ18018）、北京市自然科学基金委和北京市教委联合重点项目（KZ201911417048）、北京联合大学人才强校优选计划（BPHR2020AZ01）、北京联合大学科研项目（ZK50202001）资助以及中国科学院青年促进会项目（2017174）对本书的资助。

作者编写本书的目的是希望和同领域的研究者分享研究成果，为我国的“视听觉信息认知计算”工作贡献绵薄之力。作者才疏学浅，书中难免存在不严谨、不准确之处，敬请读者不吝指教。

王金华
2021年1月于北京联合大学智慧城市学院