医学图像是指用于医疗或医学研究的、反映人体解剖与生理功能状况以及病理变化等信息的图像,在疾病诊断、分期及选择治疗方法等方面发挥重要作用。医学图像根据其形式或产生方法还可分为模拟图像和数字图像。传统X线成像设备所获得的图像为模拟图像,其空间坐标和明暗程度是连续变化的,无法用计算机直接处理,也无法在各种数字系统中存储或传输;数字图像是将连续的模拟图像经过离散化处理后变成计算机能够辨识的点阵图像,其空间坐标和灰度均不连续,用离散的数字表示。目前提到的医学图像多指数字医学图像。
一幅数字医学图像可以用一个非负整数的二维矩阵 f ( x , y )来表示,这里1≤ x ≤ M ,1≤ y ≤ N , M 和 N 为正整数,分别代表矩阵的行数和列数。对于一个给定的 x 和 y ,图像中由坐标( x , y )表示的最小矩阵称为像素,图像大小为( M × N )像素。像素是组成数字图像的基本元素,每个像素具有两个属性:位置和灰度。当 M = N 时,就形成一幅数字方阵图像,临床上所用的大多数断层影像都是方阵图像。
一幅三维图像可以用一个具有相应值的三维阵列来描述,这些值称为体素,是体元素的简称。有两种定义体素的方法:一是将体素看成具有一定大小的一个小立方体,二是将体素看成三维空间中没有大小的一个点,其中第二种更为常用。体素是三维医学图像重建、分析的基础。
一幅二维医学数字图像的非负整数二维矩阵 f ( x , y )称为图像在该像素上的灰度,或称为像素值。灰度是指图像亮度的明暗程度,通常从黑到白连续变化的灰度值可量化分层为256(2 8 =256)级灰度等级,灰度值的范围为0~255,表示亮度从小到大,对应图像中的颜色从黑到白。灰度图像就是具有从黑到白256级灰度色阶或等级的图像,只有灰度颜色而没有彩色。
彩色医学图像包括红色、绿色、蓝色3个颜色分量,每一个像素的信息由存储在相应位置的红、绿、蓝颜色分量决定。图像的颜色由亮度和色度共同表示,色度是从图像中抽取出的、不包括亮度在内的颜色的一个特性,独立于表面的形状和观察的角度,反映颜色的色调和饱和度。
医学图像按获取方式可分为侵入式的病理图像和非侵入式的医学影像。病理切片图像是取患者一定大小的病变组织,用病理组织学方法制成病理切片后,用显微镜进一步检查病变的发生发展过程,最后作出病理诊断,病理切片图像的诊断结果一般是临床上癌症诊断的“金标准”。非侵入方式的医学影像,获取的是患者内部组织影像,常见种类包括计算机断层成像(computed tomography,CT)图像、超声(ultrasonic)图像、磁共振成像(magnetic resonance imaging,MRI)图像,及融合形式的多模态图像等。图像建模都是针对非侵入方式的、非结构化的医学影像(简称医学图像)。以下简述临床上常用的几种医学图像。
X线图像用于临床疾病诊断已有一百多年历史,现今仍是医学图像的重要组成部分。X线成像的原理是当X射线透过人体时,各种脏器与组织对X射线的吸收程度不同,因而在接收端得到不同的射线强度。基于这个原理,所得的X线图像是将三维空间的人体投影到一个二维平面上,各组织器官和病灶的信息重叠,造成某些细节因信息重叠而丢失,因此这种成像方式难以检测较小的病灶,分辨率也较低。
CT利用高穿透性、高能量的X线从多个方向沿身体某一选定的断层层面进行照射,然后测定透过的X射线量,数字化后经过计算得出该层面组织各个单位体积的吸收系数,最后重建图像。CT成像适合对骨骼进行检测和研究,可以测出某一平面不同组织之间放射衰减特性的微小差异,精细地分辨出各种软组织的不同密度,从而形成对比。CT图像的临床应用扩大了人体检查范围,提高了病变检出率和诊断准确率。但因为CT图像也是通过检测人体对X线的吸收量而获得,其对软组织的密度分辨率没有MRI高。
超声图像是利用超声束扫描人体,通过对反射信号的接受、处理,以获得体内器官组织信息的图像。其成像具有廉价、实时、无损伤、无辐射和敏感度高等优势,在临床诊断中发挥巨大作用。目前超声诊断广泛应用于产科,可用于评估不孕症、胎儿发育情况等。但超声图像由于其成像原理,一些微小的结构不能被分辨;加上声波信号的干涉,图像对比度差,空间分辨率不如CT和MRI高,得到的图像不够清晰。超声检查的视野也有限,不利于与其他医学图像进行对比。随着高速机械扫描和高速电子扫描的实时超声断层显像仪和超声多普勒技术的普遍应用,超声诊断由非直观的回声图诊断发展为高成像质量的灰阶声像图诊断,为通过计算机进行超声图像处理提供了可能。
MRI通过外加梯度磁场检测所发射出的电磁波,实现人体内部横断面成像所需的空间定位。MRI图像能够提供清晰的人体软组织解剖结构,可以多方向、多参数成像,无需造影剂就能对心血管成像,提供了丰富的诊断信息。由于其安全性和信息的丰富性,MRI图像成为医学图像中的重要组成部分,广泛用于临床诊断和治疗。但MRI图像一般不能提供骨性组织的解剖结构。功能性磁共振成像(functional magnetic resonance imaging,fMRI)是在MRI基础上发展起来的一种能够反映大脑功能活动的方法,可以通过神经元活动时大脑的血流动力学反应,如血容量、血流量及血氧水平在静息状态下以及激活时的变化,定位大脑的功能活动区。与其他图像相比,fMRI具有较高的分辨率和较好的可重复性及可行性。
以上图像提供的多为人体解剖学变化的信息,而核医学成像可以提供人体组织器官新陈代谢变化的信息,即功能性信息。核医学成像利用放射性药物在体内能被特定组织器官摄取或被代谢排出等特性,在体外测定这些放射性药物在相应器官中的摄取速度、存留时间、排出速度等,推断器官功能状态。因此,核医学图像的清晰度主要取决于脏器或组织的功能状态。目前正电子发射断层成像(positron emission computed tomography,PET)和单光子发射计算机断层成像(single photon emission computed tomography,SPECT)被广泛应用。但核医学图像通常不能提供组织器官的解剖结构,空间分辨率较低;另外,由于检查费用高,一般患者负担不起。
在实际临床应用中,单一模态的医学图像往往不能提供医生所需要的信息,通常需要将不同模态的图像融合在一起,以便了解病变组织或器官的综合信息,帮助医生作出准确诊断或制定合适的治疗方案。如把CT和PET两种技术合二为一的PET/CT,既能单独完成超高档螺旋CT的功能,又能完成PET的所有功能,其融合后的图像对病灶定性、手术放射治疗定位及一些目前仍不清楚的代谢疾病研究等具有重要价值。
医学图像种类繁多,数据分散琐碎,数据价值密度低,结构复杂,无固定格式,常常需要整合不同图像的信息。随着医学图像数量大幅度增长,医生的阅片负担大大增加,仅靠人工诊断分析效率低下,且给出的结果存在主观性、模糊性。在技术上,由于医学图像的复杂性,信息难以标准化和理解,不能采用传统的结构化数据分析方法进行批量处理,需要进行非结构化数据分析。机器学习作为非结构化数据分析常用的一种方法,可应用于医学图像分析和疾病诊断。因此,医学图像非结构化分析具有较大的临床实际意义。
随着我国经济发展,人民生活水平和健康意识日益提高,各项健康体检、疾病筛查的数量不断加大。同时,医学成像设备在各级医院普及、新兴的成像技术在临床开始应用,医学图像数量飞速增长。据统计,医学图像数据年增长率超过30%。医院存储的信息90%以上是图像信息,其数据量的增长速度十分惊人,图像信息形成了巨大的数据积累。快速增长的数据量要求图像分析的速度也要相应提升,然而我国影像科医生的年增长率仅为4%,传统的人工阅片方式越来越难以满足日益增长的图像诊疗需要。
传统的人工阅片方式主要依赖医生的专业知识和临床经验,给出的结果往往存在准确率低、模糊和不完全等问题。具有不同知识背景的医生由于存在主观性,即使对同一张医学图像也可能给出不同判断。长时间判读图像使医生效率低下,更容易因疲劳和分心而产生解读错误,造成一些疾病漏诊或误诊,诊断准确率下降。据统计,医学图像的疾病误诊率可达到10%~30%。由此产生的假阴性结果会使患者错过最佳治疗时机,而假阳性病例一般还要依靠其他临床手段排除,增加了患者的经济负担。
机器学习算法在医学图像分析中起着至关重要的作用,已经成为较有前途的研究领域之一。传统的机器学习算法包括决策树(decision tree)、支持向量机(support vector machines,SVM)、贝叶斯网络(Bayesian network)等,通过提取图像的形状、大小和纹理等特征并进行特征挑选,剔除冗余特征得到最优特征集。但是,这种人工特征的选取依赖于大量专业知识,且难以涵盖图像的全面特征,导致其使用存在局限性。深度学习是机器学习近年来的一个新兴研究领域,不需要人工参与设计就能将原始数据通过自动学习过程从一些简单的非线性模型变换为更高层次的表达,再组合多层变换,学习提取出非常复杂的函数特征。
随着人工智能的发展,以深度学习为代表的一系列机器学习算法在医学图像领域的应用越来越广泛。机器学习算法可应用于多种临床常用的医学图像,对肿瘤、阿尔茨海默病等疾病的病情诊断及图像分类、分割的结果都可以达到一个较高的准确率。临床工作中,机器学习算法可以识别医学图像中隐藏的特征,辅助医生进行疾病诊断,减少医生的工作量,弥补医生主观判断中的不可预测因素。随着用于医学图像分析的机器学习算法的不断改进,扩大了医学图像在疾病诊疗的应用价值,促进医疗领域进一步发展。采用以深度学习为代表的机器学习算法对医学图像进行定量、准确分析成为现代医学发展的必然趋势。