如前文,k空间数据 是一个频率域上的数据点阵。每一个 f 都可以通过一定的重建技术得到一幅空间域中的图像,即磁共振图像 I 。若在磁共振扫描中,我们所得到的是完整的k空间数据,则MR信号 f 和MR图像 I 之间可通过如下傅里叶变换
及其逆变换来转换,其中 表示傅里叶变换, 为磁共振图像。值得注意的是,不论是基于数学模型的图像重建方法还是基于深度学习的方法都可以考虑在频率域或空间域中保持数据一致性,也可以两者同时考虑。读者可以在下文介绍的各种模型中思考它们之间差异。
上式表明,当k空间数据 f 足够多时,我们可以直接通过逆傅里叶变换得到较好的磁共振图像。但是,获取完整的k空间数据将花费较长的扫描时间,此外还存在一系列成像问题。为了解决这些问题,我们可从信号采集的源头入手,也可以从快速算法入手。于是,一系列基于稀疏表示的图像重建模型与算法出现了。首先,我们介绍一下什么是稀疏表示。
如果一个信号中只有少数元素是非零的,则该信号是稀疏的。通常,自然信号在时域或空间域内都是非稀疏的,但在某些变换域中却可能是稀疏的。“在变换域中稀疏”可以通俗地理解为换一个视角去“观察”这些数据——虽然原域中数据占用了很多存储空间,但是真正有用的信息可能没有我们想象中那么多。
信号的稀疏表示可以看作将信号投影到某一组变换基时,绝大部分变换系数的绝对值很小,是稀疏或者近似稀疏的。它可以看作是原始信号的一种简洁表达。这也是基于稀疏表示的重建方法的必备条件,即信号必须在某种变换下可以稀疏表示。通常变换基可根据信号本身的特点灵活选取,常用的有傅里叶变换基、离散小波变换基、框架(framelet)变换和冗余字典等。下面我们详细介绍几种图像重建的数学模型中常用的稀疏表示:
图像的全变分的稀疏性体现在图像在空间差分域内是稀疏的。一幅自然图像几乎所有像素值都是非零的,即不是稀疏的,但是图像的梯度信息,也就是图像上比较锐利的部分为比较稀疏的信息。
设信号 是一个长度为 N 的信号,它可以表示为一组标准正交基的线性组合
其中 为列向量, 是加权系数, 只有很少的大系数,则称信号 f 是可压缩的。如果 x 只有 K 个非零元素,则称 x 为信号 f 的 K 稀疏表示。
实际应用中,对于一幅自然图像进行傅里叶变换或者小波变换等变换时,大多数小波系数的绝对值都接近于零,并且有限的大系数能够表示出原始图像的绝大部分信息。图3-2-1展示了图像的稀疏表示。
图3-2-1 图像的稀疏表示
(a)原图;(b)有界变分;(c)稀疏字典;(d)傅里叶变换(幅值)。
冗余字典用超完备的冗余函数库去取代基函数,因此不是线性无关的,称为冗余字典。字典中的元素被称为原子。字典的选择往往要求尽可能好地符合被逼近信号的结构,因此通常可用较少的非零系数得到最优的线性组合,从而实现信号的稀疏逼近。实际应用中,我们可通过已有的结构相似的数据提取信息,构造出一个字典。具体步骤如下:
(1)从已有相似数据建立数据库:找到相似结构的图像( N × N );将图像分解为大小相同的无重叠的图像片( d × d , d < N ),例如 N =256, d =8;去掉那些信息变化不大的图像片,如灰度均匀的图像片,形成一个数据库。
(2)从这个数据库中提炼出超完备的字典 使得 n < K 。其中,字典的列称为原子。超完备的字典为进一步的稀疏表示提供了可能。
(3)从图像 u 上提取一组图像片 u j = P j u ,来覆盖整个图像 u 。其中 P j 是将图像 u 的第 j 个图像片提取出来的二值矩阵,图像片之间允许重叠,但是大小必须与字典中原子的大小一致。
(4)用字典中的原子 来得到图像片集 的线性表示。我们要找的就是线性表示的系数是稀疏的时候的解。
综上,根据实际信号,我们可进行相应的稀疏变换。理想的稀疏变换能最大化稀疏待重建的信号,且具有尽量小的计算复杂度。当信号具有了稀疏性,我们就可以使用相应的基于稀疏表示的模型和算法来重建图像。
近十年来,以利用压缩感知和自适应字典学习为代表的基于稀疏表示的图像重建模型取得了不错的效果。
采集完整的k空间(频率域)数据需要消耗大量时间,为节省这部分的时间开支,研究者考虑只对k空间数据进行部分采样,这样得到的数据就是欠采样数据。欠采样可能导致部分信息丢失,因此直接重建并不一定能得到唯一的结果,有时还会引入各种伪影(artifact),拉低图像质量。压缩感知理论是解决这种欠采样重建问题的一种方法。
压缩感知的基本思想是:当信号在某个变换域中具有稀疏性时,采集少量的信号投影值就可实现信号的准确或近似重建。首先,使用一个元素为0或1的二值投影矩阵 (或称测量矩阵,即采样模式)进行不完全采样。其中, M 远远小于 N 。传统的CS测量矩阵是人为设计的,如何设计合适的测量矩阵是一个非常重要的问题。常用的采样方式有螺旋采样、径向射线采样、等间隔射线采样和随机采样等,如图3-2-2所示:
图3-2-2 部分采样模式示意图
(a)径向射线;(b)等距射线;(c)笛卡尔射线。
在压缩感知中,信号的投影测量数据量 远远小于传统采样的原始信号 。为确保信号的测量值能保持信号的原始结构,投影矩阵需要满足约束等距性条件。但是如果采样方式不当或者欠采样情况严重,信号就无法恢复了。图3-2-3显示了欠采样所导致的严重的伪影现象。
图3-2-3 欠采样的伪影效果示意图
(a)k空间信号(幅值);(b)欠采样k空间信号(幅值);(c)原图;(d)欠采样重建导致的伪影现象。
如前所述,磁共振采样扫描时间和采样的线数成正比。投影测量采样虽然节约了时间,但如何从欠采样k空间信号 f p 重建出高质量无退化的磁共振图像是一个挑战。
与图像配准和图像分割类似,一般的图像重建模型包括保真项和正则项两个部分。鉴于对重建的保真性和正则性要求,基于压缩感知的数学模型如下:
其中, x 是未知信号, 是测量矩阵, l 0 范数表示向量 x 中非零元素的个数。目标函数要求 l 0 范数尽量小,可以用来减少解的搜索空间。但是 l 0 范数有非凸性,在理论分析和优化求解上都会产生一系列的问题。因此,通常我们会松弛成 l 1 范数,即如下模型:
图3-2-4是基于压缩感知的医学图像重建模型的实验结果:
基于全变分的图像重建模型也是图像重建中的经典模型,基本形式如下:
其中, u 是待恢复图像, 是编码矩阵。全变分可以表示为 ,说明全变分更像在图像的梯度空间中稀疏。但是,这种基于图像在有界变差函数空间的稀疏性假设,实际上形成了对图像分段常值的均匀性假设。所以对于图像的细节信息可能会处理得不够好。为了克服基于全变分图像重建模型存在的问题,基于小波基的重建模型也被提出。
图3-2-4 基于压缩感知的医学图像重建
(a)原图;(b)欠采样0填充重建结果;(c)基于CS的重建结果;(d)测量矩阵;(e)是(b)的局部放大图;(f)是(c)的局部放大图。
小波基在计算机视觉中被广泛采用。基于小波基的图像重建模型如下:
其中 是小波变换矩阵。
根据前面关于稀疏字典的介绍,可以发现基于稀疏字典的图像重建能很好地利用经验的图像信息,与基于小波变换的模型相比,能重建出更多的重要的细节结构。其模型如下:
其中, D 是字典, x j 是图像片 j 的字典表示的系数。图3-1-4是基于稀疏字典的图像重建方法的结果。
图像快速重建是图像重建的痛点。因此如何快速求解以上模型也是关键。在传统图像重建领域常用的快速算法有交替方向乘子法(alternating direction method of multipliers,ADMM)、Chambolle-Pock等算法。上述图像重建中所遇到的数学模型都可以转化为求解如下带约束的目标函数问题:
其中 f , g 为凸函数。于是,上述问题可以写成:
则上述问题的ADMM算法可以写成解如下几个简单的子问题:
然后,去求解每个简单的子问题,可以迭代得到模型的解。
不论是哪一种图像重建方式,好的重建算法大致具有以下特点:
扫描时间与采样的线数成正比,因此少采样也是快速成像的关键。
图像重建目的就是从尽量稀疏的采样中恢复出高质量的数据。在图像重建中,往往会产生一定的重建误差。显然,重建误差越小,重建就越精确。另外,我们希望重建模型,使得误差还要在图像空间也同样的小。
快速鲁棒的算法也是快速重建的关键。
目前,基于稀疏表达的传统算法虽然推动了医学图像快速高质量重建,但是仍然存在重建时间相对较长、参数选择复杂、细节上的损失等问题。随着GPU计算的普及,人工智能在医学影像重建中得到了发展。