



随着计算机技术的蓬勃发展,近二十年来已有不少研究者采用传统的图像处理方法进行Cobb角的计算机辅助测量,以消除或减少Cobb角测量的操作者误差。基于传统图像处理的自动测量方法通过对脊柱X线图像进行处理,提取椎骨的形态特征用于Cobb角的自动测量。
本书作者2009年已提出了一种基于霍夫变换(Hough Transform)的Cobb角自动测量算法 [14] ,首先对人工选定的椎体感兴趣区域(Region of Interest,ROI),使用坎尼算子(Canny Operator,又称坎尼边缘检测算子)获取ROI的边缘二值图,在二值图上结合椎体形状先验约束运用模糊霍夫变换检测椎体终板,从而测量出Cobb角。该方法并非全自动的,需要人工选取椎体ROI。类似地,孔杜(Kundu)等人 [15] 提出了一种半自动的Cobb角计算方法,该方法首先在正位相X线图像中手工选择端椎,然后使用欧几里得裁剪均值滤波器对初始图像进行去噪,并适当地从图像中进行自动阈值选择,提高了坎尼算子的性能。最后利用霍夫变换进行椎体倾斜度检测,来完成Cobb角的测量。萨尔佐诺(Sardjono)等人 [16] 提出一种基于带电粒子束的物理模型方法,该方法在脊柱X线图像上确定单个椎体的左右边缘,将其数值转换为电场。椎骨边缘相应地具有较高的负电荷,带电粒子会沿着边缘运动,从而提取整个脊柱的边缘信息以拟合出脊柱的边缘曲线。该方法是一种全自动的Cobb角测量方法,但比较依赖脊柱X线图像的质量。阿尼塔(Anitha)等人 [17] 提出一种基于经典滤波器的Cobb角测量方法,通过对X线图像进行滤波,从而提取整体轮廓特征来进行Cobb角的测量,该方法同样受限于脊柱X线图像的质量。慕克吉(Mukherjee)等人 [18] 从双边滤波、非局部均值滤波、主邻域字典非局部均值滤波和块匹配三维滤波4种图像去噪技术中通过比较选择了最佳的滤波器来提取特征。针对X线图像对比度较差的问题,运用直方图均衡方法增强图像对比度,之后使用Otsu阈值法来定位椎骨的Canny边缘点,最后同样利用霍夫变换检测到脊柱端椎的边缘来估计Cobb角。该方法处理步骤较为烦琐,算法复杂程度较高。
综上所述,基于传统图像处理的方法一般需要将脊柱X线图像经过图像预处理,包括图像滤波、增强、分割、边缘检测和特征提取等,最终实现Cobb角的自动测量。这些方法对脊柱X线图像的质量有较高的要求,大部分方法需要手工定位椎体,是半自动方法,但手工定位椎体相比手工测量Cobb角简单得多,因此使用这些方法能一定程度上减少Cobb角测量的主观性和操作者误差。
目前,深度学习已经广泛应用于医学影像处理领域,尤其是卷积神经网络(Convolutional Neural Network,CNN),通过使用卷积层和池化层来提取图像的局部特征并降低网络参数维度,非常适合用于高效地处理图像等高维数据。基于深度学习的方法不需要人工设计特征提取或图像预处理算法,但需要设计神经网络模型的结构,并且需要充足的训练数据来训练神经网络,这样才能取得较好的泛化能力。基于深度学习的Cobb角测量方法可分为直接测量方法和在椎体分割基础上的间接测量方法。
1.基于深度学习的Cobb角直接测量方法
直接测量方法主要通过使用神经网络直接对X线图像进行椎体关键点检测,根据这些关键点计算出Cobb角,实现Cobb角全自动测量。其中2017年提出的BoostNet [19] 将统计方法与CNN的强大特征提取能力相结合,直接对椎体关键点进行检测。该方法针对已有的Cobb角测量算法缺乏鲁棒性的弊端,只须提取椎体关键点就可以进行Cobb角的测量,解决了脊柱X线图像质量低导致的测量误差大的问题。而后在BoostNet的基础上,又开发了一种多视角的Cobb角自动估计方法MVC-Net [20] ,相较于BoostNet仅在正位相脊柱X线图像上进行Cobb角估计,该方法引入了侧位相X线图像的信息用于监督椎体关键点的估计,在提高模型的鲁棒性的同时也减少了测量误差。
在MVC-Net的多视角监督的思想下,2019年提出了MVE-Net [21] ,该方法预先使用了关键点的标签坐标来计算相应的Cobb角,直接对Cobb角进行估计。该方法提出了一个多视角外推网络模型,并舍弃了椎体关键点的估计,只测量Cobb角。
类似的,在多视角监督的启发下,2022年提出了MPF-Net [22] ,该方法将椎体检测分支和关键点检测分支相结合,为关键点检测提供有界区域,并通过对椎体关键点的检测完成了Cobb角的测量。2023年提出的VLTENet [23] 先对椎体中心点进行定位,并进行椎体倾斜估计确定椎体的位置,进而实现Cobb角的测量。
直接测量方法存在一定的弊端:其一,由于脊柱X线图像中噪声和伪影的干扰,直接对椎体关键点进行检测并计算出Cobb角时,测量结果受限于脊柱X线图像的质量;其二,这些方法大多数需要用到正位相和侧位相的脊柱双平面X线图像,对仅有正位相X线图像的情况不适用,并且对实验数据的标签的精度要求较高。
2.椎体分割基础上的Cobb角间接测量方法
2014年全卷积网络(Fully convolutional networks,FCN) [24] 的提出使得CNN能够实现图像像素级的分类,即语义分割。2015年U-Net [13] 的提出标志着语义分割应用于医学图像领域。而在这之后,又有U-Net++ [25] 、U2Net [26] 等新的架构进一步提高了医学图像分割的精度。许多研究者基于椎体分割的网络架构实现了Cobb角自动测量。相较于直接测量方法,这些方法虽然处理步骤较烦琐,但精确的椎体分割可获得更高的Cobb角测量精度。文献[27]提出了基于U-Net的脊柱X线图像分割网络,并设计了Cobb角自动测量算法,但因为分割精度较低,导致Cobb角测量的误差较大。洪(Horng)等人 [28] 开发了一种自动测量Cobb角的方法,该方法先检测椎体,并将脊柱图像裁剪成单个椎体图像,通过对椎体分割结果进行重构,实现Cobb角测量。文献[29]提出了一种基于深度学习的椎体分割和关键点检测结合的Cobb角测量算法,该方法依赖于椎体关键点检测的精度。Rahmaniar [30] 等人提出了一种结合椎体关键点检测和椎体目标检测的Cobb角测量算法,该方法通过定位椎体关键点的位置并完成椎体目标检测,最后实现自动测量Cobb角;但该方法步骤烦琐,运算量大。文献[31]提出的方法通过椎体检测得到脊柱的曲线,通过曲线的曲率估计Cobb角。文献[32]回顾了AASCE2019挑战(使用脊柱正位相X线图像进行自动脊柱曲率估计的挑战赛),在这个挑战赛中,有的方法分割了脊柱的边界,并使用CNN来估计角度;有的方法将椎体和椎间盘分割作为中间状态,再将多个网络集合来估计Cobb角。这些方法在分割准确的前提下都实现了Cobb角的精确测量。但是,这些分割方法的精度与X线图像质量有关。
现有的基于深度学习的Cobb角测量方法存在或测量精度低或测量过程烦琐的问题。虽然近年来提出的这些方法降低了Cobb角的测量误差,但测量精度还有一定的提高空间,而测量过程也还有优化的空间。相比基于传统图像处理的Cobb角测量方法,基于深度学习的Cobb角测量方法,不论直接测量还是间接测量,都需要充足的训练数据,才能完成精确测量。