本章主要介绍医学图像处理中的一个重要研究课题:医学图像重建。医学图像重建主要研究如何从原始的采集数据中快速精确地重建出医学影像。例如,磁共振成像(magnetic resonance imaging,MRI)是从原始信号空间——k空间(k-space)中采集数据重建影像。计算机体层成像(computed tomography,CT)的原始数据是X射线信号转换后所得的数据。由于图像重建和成像原理息息相关,我们下面以磁共振成像原理为例介绍图像重建。
核磁共振(nuclear magnetic resonance,NMR)的相关研究一直是学界、工业界关注的重点。至今,相关的研究已经获得了6次诺贝尔奖,分别是关于质子核的发现(1943年),分子束磁共振的发现(1944年),宏观物质NMR现象的发现(1952年),傅里叶变换NMR、多维NMR的实现和发展(1992年),多维NMR波谱学测定蛋白质结构(2001年)以及磁共振成像的发明(2003年)。这些研究工作为磁共振成像提供了奠基性的支持,也对现代医学的发展产生了深远的影响。
磁共振的原始数据是带有空间定位编码信息的磁共振原始数字数据的填充框架。磁共振利用了原子中质子的自旋:质子在磁场的作用下磁化、共振和弛豫,从而释放信号。磁共振成像是对收集到的信号进行重建的过程。其中,空间定位是至关重要的一环,是信号重建过程中必须明确的信息。空间定位主要确定接收线圈的感应信号具体来源于人体的哪个像素(空间位置)。解决问题的关键是,磁共振利用线性梯度磁场在不同的空间位置,用不同的共振频率来进行空间编码,形成强大的数据采集能力。梯度磁场可以表示为 B ( x , y , z )= B 0 + G x x + G y y + G z z ,沿 z 方向的线性梯度磁场如图3-1-1所示。
图3-1-1 线性梯度磁场和磁共振信号空间定位示意图
磁共振成像研究如何从磁共振的原始信号(即k空间信号)中精确地重建出视觉上具有解剖结构的磁共振图像。填充效果如图3-1-2所示。
通过上述关系式我们可以发现k空间的两个重要特性:①k空间点阵中每一点对应不同的基波,包含有扫描层面的全层信息,重建过程可以理解为对基波进行加权累积(离散情况就是对基波的加权求和);②k空间中心区域的基波波长较长,外围区域的基波波长较短。因此,中心区域的磁共振(MR)信号主要决定图像的亮度、形状和对比度等低频信息,而周边区域的磁共振信号主要决定图像的细节和边缘等高频信息,效果如图3-1-3所示。
图3-1-2 磁共振信号和磁共振图像对应示意图
(a)k空间信号(幅值图,不包含相位信息);(b)重建图像。
图3-1-3 k空间信号(幅值)和磁共振图像对应示意图
(a)k空间信号;(b)中心区域的信号;(c)外围区域的信号;(d)原图;(e)仅用中心区域信号的重建结果;(f)仅用外围区域信号的重建结果。
为了叙述方便,我们在下文中把磁共振(MR)的原始信号称为MR信号或k空间数据,而把重建后的影像称为MR图像。
磁共振成像是一种无损伤的医学影像成像手段,可以显示人体的结构和功能信息,具有CT等成像方法无法比拟的优点。因此,磁共振重建是目前医学影像的研究热点。一般来说,为得到好的成像效果,需要获取大量的原始信号,这将需要花费很长的扫描时间。尽管磁共振具有无辐射、软组织清晰等优势,但是扫描时间大大限制了它的使用。例如,一个MRI扫描需要10分钟左右,而CT只要数秒钟。此外,扫描时间长会带来一系列问题,比如病人不适、医疗仪器的成本回收周期延长,以及病人身体移动导致的图像质量问题等。正是这些问题导致了现实中在医院做磁共振需要长时间的预约等待。可见,目前磁共振成像的时间问题是磁共振成像技术应用的难点和痛点。这要求从采样方式、重建模型和快速算法上进行改进。磁共振成像的研究热点主要集中在:
为了加快磁共振成像的速度,一个方法是采用多个线圈阵列同时采集信号,通过对k空间进行欠采样,以减少相位编码步数;在重建时,将每个线圈采集到的信号一起重建,这称作部分并行磁共振成像(partially parallel imaging,PPI)。部分并行磁共振成像能大幅缩短扫描时间,提高成像速度,是磁共振成像的重要技术。
还有一种使用单线圈进行欠采样重建的方式,即压缩感知(compressed sensing,CS)。奈奎斯特-香农采样定理告诉我们,在等步长采样的情况下,若想完整地重建原始信号,采样的点数应当足够多,其对应的采样频率应至少为原始信号中最高频率分量的两倍。压缩感知理论则告诉我们,如果信号在某个变换域中具有稀疏性,则可以使用更少的采样点来重建大部分原始信号。此时的采样方式也未必是等步长采样了。在压缩感知MRI中,最常见的一种采样方式是使用高斯采样矩阵进行采样[图3-1-4(e)]。另外,随着神经网络在图像重建中的不断应用,建立神经网络学习采样矩阵也受到一定关注。
磁共振成像时间长,病人在此过程中身体发生移动在所难免,从而会产生运动伪影(motion artifact),进而影响成像质量。如何消除运动伪影是提高磁共振影像质量的一个非常重要的问题。
图3-1-4 基于稀疏字典的医学图像重建
(a)k空间信号;(b)原图;(c)欠采样0填充重建结果;(d)基于稀疏字典的重建结果;(e)测量矩阵;(f)是(b)的局部放大图;(g)是(c)的局部放大图;(h)是(d)的局部放大图。
改进成像时间的问题,一个显而易见的想法是从图像重建的快速算法入手。因此,一系列关于改进磁共振成像的快速算法正方兴未艾。
随着医学影像应用的普及和医疗仪器的更新换代,图像重建算法也在不断地演变和优化。而随着医学影像重建算法的发展,医学影像的采集技术也在不断发展中。
从数学工作者的角度来看,医学图像重建大致经历了三个发展阶段,分别是模型驱动的图像重建、数据驱动的图像重建以及兼顾两类方法优势的融合方法。
第一阶段是模型驱动的图像重建。模型驱动的图像重建都是通过成像的统计或物理原理来进行数学建模,然后利用数值或者优化算法来求解。此类方法的优势是有一定的物理和统计可解释性。其中,早期的分析方法使用理想的成像系统的数学模型,如MRI中的逆傅里叶变换,还有CT中的滤波反投影法(filtered back projection,FBP)。然而,这些方法由于需要大量的原始数据,因此导致成像技术的使用效率低下。近10多年来,基于压缩感知、傅里叶变换、小波变换和全变分的图像重建方法也取得了不错的效果,并已运用于多种模态的医学影像中。
第二阶段是以深度学习为代表的数据驱动方法。随着深度学习在人工智能领域的普及,数据驱动的图像重建方法在医学影像处理中也开始遍地生花。此类方法通常使用机器学习方法(尤其是深度学习),从数据中训练模型参数,得到模型或者输入和输出之间的映射关系。首先,数据驱动的方法具有能够从数据中学习到数据内部蕴含的难以被人发现的模式等优点。目前以深度神经网络为介质的深度学习已经从开始的简单卷积神经网络和递归神经网络,发展到日新月异的阶段。各种新型网络结构层出不穷,不仅向着更深和更宽发展,而且还引入了多分支、多任务联合学习的方式,使得模型的特征学习能力越来越强。此外,相比于传统方法求解医学图像重建问题,深度学习方法的优势在于它的高效性。磁共振图像重建问题中,以直接进行逆傅里叶变换为代表的传统算法往往需要消耗大量的时间采集完整的k空间数据,而基于压缩感知的迭代重建算法也需要消耗大量时间求解含有正则项的重建模型。深度神经网络方法则不同,一旦训练好一个特定功能的网络,就可以经过简单的前向计算,快速得到重建结果。此外,网络方法还免除了迭代方法中需要手动设置求解器参数的麻烦,甚至有时,网络输出结果的质量还可以超过传统迭代方法结果的质量。从实际应用上看,高效与高质量的磁共振图像重建方法可减少单个患者的时间开支,让机器为更多的患者服务,因此具有十分重要的现实意义。图3-1-5展示的是不同图像重建方式的采样和重建计算时间分布,其中线性MRI代表传统全扫描的重建方式,CS-MRI是基于压缩感知的磁共振成像技术,DL-MRI是基于字典学习的磁共振成像技术。
图3-1-5 不同医学图像重建方式的采样和重建计算时间分布
第三阶段是模型驱动与数据驱动相结合的方法。该方法有效地将前两类方法的优势进行结合,是目前的研究热点。
我们下面主要以磁共振图像为例,具体说明图像快速重建的发展、数学模型和算法实现。为了使得非数学专业的读者也能尽量了解医学图像重建的大致情况,我们在本章只提及一些比较简洁和经典的相关的工作。