客观化诊断数据采集技术是指通过各种现代化的技术手段,收集与分析来自患者身体的生物数据,以提高医生对病情判断的准确性和治疗效果。在中医诊断领域,除了西医的各种诊断方法外,常见的中医特色的客观化诊断数据采集技术包括计算机视觉技术和传感器技术。与西医常用的计算机断层扫描(CT)、磁共振成像(MRI)等图像诊断技术不同,中医望诊采用的客观化诊断数据采集技术更偏重于视觉模拟,更直观,也更多地与环境相关。同理,中医的脉诊客观化数据采集中,用到了压力、光电等多种传感器,以模拟人的触觉,获取复杂的脉象诊断指标。
对于中医的智能中医辅助诊断来说,即便是单一诊法,例如舌象、脉象等,其数据采集也可能是多源多模态的,单一模态数据无法提供足够的信息来支持准确的诊断。同时,中医讲究“四诊合参”,综合望、闻、问、切“四诊”收集到的信息。因此,通过特征抽取、词向量等技术,可以在更多层面对多模态数据进行融合处理,可以提高诊断的准确性。
在中医“四诊”中,望诊可以通过计算机视觉技术来智能化中医诊断。望诊是中医诊断疾病的重要依据之一,其包括舌诊、面诊等几方面。在面诊过程中,中医主要通过观察患者的面色进行诊断。面色包括色和泽,色是指青、赤、黄、白、黑五色,泽是指五色的荣润与晦暗。健康人面色红润光泽,略微带黄;患者的面色则往往发生相应的病理信息改变。中医五行说中的五脏配五色理论认为,面部的不同色各有所主,青主肝,赤主心,黄主脾,白主肺,黑主肾;还认为青色主风、寒、痛、惊风等证,赤色主热证,黄色主温热、寒湿、血虚等证,白色主虚寒证,黑色主寒、痛、劳损及血瘀等证。面部各部位色泽的信息,为诊断体内脏腑病变的定位与定性提供了部分依据。
在舌诊过程中,中医主要通过观察患者的舌苔、舌质及舌形进行诊断。如苔薄,多见于疾病初起,病邪在表,病情轻浅;苔厚,则提示病邪入里,或内有食积痰湿,病情较重。舌质绛,多为热入营血等。同时,不同性质的病邪,可常在舌上反映不同的变化。如黄苔多表示热邪内盛;舌质有瘀点或瘀斑,往往是瘀血的征象。如果舌色变化,则可提示病势进退。如舌苔由白转黄变灰黑,多为病邪由表入里,由寒化热,由轻转重;若舌苔由燥转润,由厚变薄,则属津液渐复,病邪渐退之象。
因此,可以通过采集患者面部及舌部的图像数据来智能化中医诊断。望诊图像信息采集前的环境要求如下:
1.确保光线的准确性 传统的中医利用视觉观察面色和舌象,条件是要有足够柔和的自然光,然而自然光是不断变化着的,由于人眼具有颜色恒常性,有经验的中医师在自然光线稍微差一点时,也可以进行望诊。但是图像采集设备不具备人眼这一功能,所以在拍摄面色和舌象时,需要确保光线的准确性。
2.采集室内的温度要适宜 适宜的温度可以保证患者全身上下气血畅通,皮肤和肌肉也会自然放松,患者真实的体征方能表现出来。而在温度较低的环境下,患者全身气血不畅,肌肉收缩,难以准确获取患者的体征信息,会严重影响采集到的面诊数据的准确性。
3.选择合适的拍摄设备 不同拍摄设备得到的图像数据会有较大的差距,为了便于智能化中医望诊,需要确保所采集数据的一致性。为了保证中医望诊数据的客观真实,需要选取较为高清的拍摄设备。
4.设计合适的图像采集箱 在面诊数据采集过程中,不同的光源、温度、物距等都会对图像信息造成影响,从而导致中医望诊的不确定性,所以需要设计合适的图像采集箱。图像采集箱可以固定患者的位置,这样可以避免患者面部及舌部数据受位置光距等客观因素的影响。
在中医诊断数字化过程中,医生一般通过患者的数字化图像进行望诊,望诊可以通过计算机视觉技术获取人体面色和舌象的客观化。因此,根据以上所需环境要求,选取合适的环境及硬件设备来获取望诊图像信息。
一般认为,晴天上午10时左右的日光比较符合中医对望诊的要求,根据表3-1列出的自然光在不同时间的色温值可知,上午10时左右的色温约为5500K。另外,根据色温与显色指数的特性,色温为5000~7000K,显色指数Ra>85,是比较合适望诊的光照条件,因此选择光源时应尽量满足这一参数。
表3-1 不同时间段自然光的色温值
续表
对于望诊数据的采集,很难在固定时间的自然光下进行,因此,可以根据以上适合中医望诊的色温和显色指数来选取合适的光源。可供选择的光源类型一般有卤素灯、荧光灯和LED光源等。近年来较多的研究者使用白光发光二极管(LED)作为光源,LED光源具有显色指数高、体积小、驱动电压低、照度及色温较为稳定等优点,能保证拍摄图像时光照环境的均匀与稳定。各光源的主要性能如表3-2所示。经各光源性能对比分析,卤素灯发热大,会影响望诊图像的采集质量;荧光灯频闪,易影响拍摄效果;多个LED灯组成的光源最为适合望诊图像数据的采集。
表3-2 各光源性能比较
在望诊数据采集中,适宜的温度才能使患者的真实体征表现出来。因此,应保持数据采集室内恒定的适宜温度。
一般来说,拍摄设备的像素应不低于200万,像素越高,图像清晰度越高。现阶段一般选择高清摄像头和单反相机作为拍摄设备。高清摄像头虽然体积小,控制方便,成本低,但是图像质量不及单反相机,因此,更应选取单反相机作为图像采集拍摄设备。
1.相机镜头的选择 镜头的主要作用是折射光线,在焦点平面上汇聚成清晰的画面。由镜头中心到焦点的距离叫焦距,焦距是镜头分类的重要标准。相机镜头一般分为定焦镜头和变焦镜头。定焦镜头的焦距固定不变,光学品质较为优秀;但变焦镜头焦距可以调节,给拍摄提供了极大的便利。由于面部和舌部图像的采集需要近距离拍摄,且前期需要根据相机安装位置的实际情况调整焦距,所以选择变焦镜头。
2.相机的设置 单反相机拍摄图像时,应该预先设置好相机的各项操作功能(主要包括镜头焦距、曝光模式、测光方式、光圈系数、快门速度、景深等),然后取景、对焦和测光。拍摄距离较近时,景深会自然变小,而面部和舌部图像的采集对于景深有较严格的要求,所以通过缩小光圈来尽量延长景深。此外,拍摄图像时,为了避免患者有瞬间的移动和抖动,快门速度不能太慢,因此,曝光模式选择光圈优先模式。中央重点测光适合被摄主体位于画面中央区域,既能突出主体又兼顾周围环境,在采集患者面部和舌部图像时,画面的位置正好处于中央重点测光的范围内,因此测光方式选择中央重点测光。当相机测光后获得一定的曝光量,只需设置好光圈系数,快门速度根据曝光量可自行调节。单反相机的参数设置可参考表3-3。
表3-3 单反相机设置参数
图像采集箱可以确保光源的准确性,并具有固定作用,确保望诊数据采集的一致性。箱体内部通过一块隔板分为前后两个空间,前面为光源照亮区域,后端为相机、电源等的安装空间。隔板上需要安装确定的光源;在隔板的中心位置需要设置一个大于相机镜头的孔,用于拍摄。箱体的前端是人脸贴附的一块面板,所以需要开出满足人脸要求的椭圆孔对人脸进行定位,且隔板距前端面板距离250mm,符合图像采集设备的物距需求。经过如上设置后,可以通过图像采集箱来获得患者面部和舌部图像信息用于智能化中医望诊,图像采集箱的整体结构如图3-1所示。
图3-1 图像采集箱
在中医采集到望诊所需的面部及舌部图像后,需要对图像数据进行包括舌在人脸中的定位、舌在复杂环境中的分割提取和舌的苔质分离的预处理,这些步骤是之后进行面色、舌象特征提取的基础。
舌体的自动分割在望诊客观化研究中具有至关重要的地位,其需要将舌体的轮廓识别出来,便于后续的舌质、舌苔分离和特征提取分析过程。
1.基于阈值的分割方法 是目前最为简单、最为广泛的并行区域分割技术。在应用中通过分析图像灰度直方图获取其波峰及波谷,各组波峰及波谷均为图像一类区域表现,能够获得图像一类目标或多个目标阈值,在阈值的分析下也就能够获取图像一个或若干个部分的信息。在对不同类信息实施区分过程中也就可以实现对同类信息的合并,归类为同一类物体,以此实现对图形的目标区域划分。
2.基于区域的分割方法 图像分割中常见的一种分割方法就是区域生长法,其主要机理是由某个特定属性的像素为原点,周围相邻的像素与原点进行对比,将具有相似性质的点合并到区域内,直到没有满足条件的像素为止。因此,第一个像素的特性决定了区域生长的好坏。简而言之,由某个像素点向外辐射一定条件内的距离,这将得到一个区域,从而能够进行下一步的分割操作。
3.基于聚类的分割方法 聚类就是将未知类数据在不同类或簇中实施分类的过程,其中集中在同一类中的对象相似性比较高,不同类对象间存在较大的相异性。基于聚类的分割算法是依照相应特征空间实现对图像时域中像素的聚类分析,对于存在有相同特征像素的所处特征空间也就能够实施聚类,也可以实施分割。
利用以上三种分割方法可以实现对舌象的精确分割。
在中医学相关研究中,舌诊是医生分析和诊断疾病的重要依据,考察的对象主要是舌头的形状、色泽,舌苔的厚薄、颜色及舌质、舌苔的分布状态等。利用计算机图像处理技术对分割后的舌体图像进行苔质分离,有利于进一步实现舌苔与舌质的特征提取与分析,对舌诊的智能化研究具有重要意义。
CIELab颜色空间中的a分量对舌质图像中的红色很敏感,且该颜色空间的颜色变化均匀,因此可采用基于a分量的K-均值聚类算法实现舌质、舌苔的分离。该方法的流程图如图3-2所示。
苔质分离过程主要实现步骤如下:
(1)首先将输入的分割舌体图像进行CIELab颜色空间转换,并使用大津算法对a分量的舌体图像进行二值化。
(2)在二值化后的舌体图像中选取合适的种子点,对提取的a分量的舌体图像进行K-均值聚类。
(3)基于K-均值聚类方法,不断调整聚类中心,得到最优的聚类结果,生成舌质与舌苔的Mask。
(4)利用生成的Mask从原始舌体分割图像中获取对应的舌质与舌苔图像。
图3-2 舌质、舌苔分离过程
医学的产生可以说是伴随着传感器的产生而来的。中医望、闻、问、切“四诊”,就是运用了人类天生的传感器——触觉、听觉、视觉等人类自身的感觉。从传统的听筒、小锤到如今的内窥镜、CT、B超,再到现在应用于临床的各种手术机器人,医用传感器延伸了医生的感觉器官,把定性的感觉扩展为定量的检测,是医疗设备的关键器件。医用传感器是医学临床诊断的“口舌”,在临床医学诊断、治疗、康复等阶段发挥着必不可少的作用,成为制约高水平先进医疗设备发展的关键技术。
近年来,针对临床医学的特点和临床应用的需要,医用传感器技术成为医疗信息化的重要技术基础,改变了传统医用传感器体积大、性能差的缺点,形成了全新的现代的新型医用传感器技术,正向着智能化、微型化、多参数、可遥控等崭新的方向快速发展。
随着现代计算机技术及数字信号处理技术的不断发展,越来越多的先进技术被广泛应用到医学科技领域,如传感器技术。人们在日常生活中所遇到的信号大都是非电量的,这些信号很难被放大、处理和传输。传感器就是将物理、化学、机械等外界参量转化为便于计算机或电子仪器所接收和处理的电学量或光学量的一种装置。医用传感器作为临床医学诊断中医生的“感觉器官”,是生物医学测量、诊断、治疗、数据处理等工作中必不可少的关键元件且意义重大。医用传感器是指将生物体各种不同的生命信息转换为生物测量和医学仪器可用的输出信号的器件或装置。在西医学中,医用传感器代替了医生的感觉器官并起到延伸作用,它能提供生物医学检测、连续监护、人体疾病治疗和控制、临床检验的信息。目前医用传感器已成为高水平先进医疗设备发展的关键技术。
由于人体生理信息分为电信息和非电信息两大类,因此检测人体不同信息需要用不同的传感器。目前主要根据探测的变化量的性质和医用传感器的作用原理对医用传感器进行分类。
1.位移传感器 该类医用传感器是利用测量人体的器官和组织的大小、形状、位置的变化来判断这些器官的功能是否正常。如测得大血管的周长变化和血压变化之间的关系,可以算出血管的阻力和血管壁的弹性;测量胸围变化来描记呼吸;测量肠蠕动、胃收缩以了解消化道功能等。
2.振动传感器 该类医用传感器是利用人体中各类振动量的变化,判断这些器官的功能是否正常。如根据各种生理病理声音,如心音、心脏的搏动、呼吸音、血管音,判断心脏、肺部的功能及人体震颤。
3.压力传感器 该类医用传感器是利用人体的各部压力变化,判断这些器官的功能是否正常。如测量血压、心内压、眼压、颅内压及子宫压等等。在呼吸机运行系统中,可通过压力传感器测量计算患者呼气期间的二氧化碳水平,以调节输入压力大小,使患者呼吸顺畅。
4.流量传感器 该类医用传感器是利用人体中某部位的流量变化,判断这些器官的功能是否正常。如根据患者呼吸快慢,通过进气泵控制,调节通气量大小与速度,使患者呼吸和进气频率保持一致,以提供肺部足够的氧浓度。
1.电阻式 电阻式位移传感器,是一种将位移转换成电阻变化的传感器。主要分为电位器式、应变片式和弹性变应计三种。如测量肌肉收缩电位器,以电位器作中心轴,肌肉收缩时,双脚和两臂分开带动电位器中心点移动,从而记录下肌肉的收缩曲线。
2.电感式 电感式位移传感器用位移来改变单线圈的自感或双线圈的互感。电感式传感器主要用于位移测量和可以转换成位移变化的机械量(如力、张力、压力、压差、加速度、振动、应变、流量、厚度、液位、比重、转矩等)的测量。常用电感式传感器有变间隙型、变面积型和螺管插铁型。可用于测量机体内部各器官的大小尺寸变化。血管内外径等。
1.压力式脉象传感器 压力传感器在中医脉诊仪中扮演着至关重要的角色。这些传感器精确测量患者脉搏的力度和波动,为中医专业人士提供了一种量化和客观评估脉象的方式。通过高灵敏度和精细的压力变化检测,压力传感器能够捕捉到细微的脉搏特征,从而辅助中医诊断,提高脉诊的准确性和效率。目前已研制出单探头、双探头及三探头压力式脉象传感器,其中,单探头传感器种类较多且应用广泛,但较为简单的结构导致在采集脉象信息时存在局限性,与之相比多探头传感器能获得更丰富的脉象信息。随着技术的不断进步,这些传感器的应用有望进一步优化传统的脉诊方法,为中医现代化贡献力量。
2.光电式脉搏传感器 在中医脉诊领域,光电传感器的应用正日益成为技术革新的焦点。这种传感器通过非侵入式地检测人体脉搏波动,准确捕捉脉搏的细微变化。其工作原理是利用光源照射皮肤并通过光电探测器接收反射或透过血管的光,从而获得脉搏信号。通过对脉搏波形的分析,可以指导医生判断患者的气血状况、脏腑功能、病理变化等信息。这一技术不仅提高了脉诊的准确性和重复性,为脉象的数字化发展带来了可能,还为中医诊断提供了便捷、客观的量化手段,是现代中医脉诊仪器不可或缺的关键组件。
3.电子鼻 是一种模拟人类嗅觉系统的传感器阵列,能够检测和辨识复杂气味的模式。这一技术不仅能提高产品质量控制的准确性,还能在环境监测、健康诊断等多个行业中发挥重要作用。在中医嗅诊领域,电子鼻通过捕捉和分析患者呼出的气体成分,为诊断提供了量化的数据支持。同时,电子鼻还可以用于检测和识别中草药的气味成分,为中药的质量控制和鉴别提供了一种新型手段。这种融合传统医学与现代电子技术的方法,不仅提高了嗅诊的准确性,也为中医的标准化和国际化铺平了道路。
4.红外传感器 在中医诊断实践中,红外成像技术凭借其非侵入性和高灵敏度的特点,正逐渐成为一种重要的辅助诊断手段。这些高精度传感器能够检测人体发出的红外辐射,从而为医生提供关于人体不同部位的温度分布图。这种温度分布图能够反映出人体的生理和病理状态,对于诸如经络堵塞、炎症等中医关注的病变有着重要的指示作用。除了温度测量,现代的红外传感器还配备了先进的图像处理算法,可以将人体表面的温度分布转化为清晰的三维图像,从而帮助医生直观地观察到人体内部的病理变化。红外传感器作为中医诊疗设备中一种重要的辅助诊断手段,以其非侵入性、高灵敏度为中医诊疗提供了强有力的技术支持。
5.经络腧穴阻抗传感器 在中医学领域,经络腧穴的状态被认为是评估人体健康状况的重要指标。近年来,随着生物电阻抗技术的发展,经络腧穴阻抗传感器应运而生,为传统中医经络检测提供了一种新的科学化、量化手段。该传感器通过测定腧穴区域的电阻抗变化,能够非侵入性地探测经络气血流通的功能状态,为诊断和治疗提供了客观的数据支持。与传统的经验判断相比,经络腧穴阻抗传感器以其精确度高、重复性好、操作简便等优点,正逐渐成为中医经络研究及临床应用中不可或缺的工具。
近年来,新型的科学技术前沿与生命科学的进步结合,成为新型医用传感器研究和产品开发的推动力,促使医用传感器朝着智能化、量子化、集成化、微型化、可遥控化及多参数、多功能化等方面发展。
1.智能化 随着信息时代的到来,在生物医学工程领域,计算机、微电子等技术的进步带动了医用传感器的发展。信息量的增长使得传感器的精度、可靠性、响应要求越来越高,传统的大体积传感器因无法满足上述需要而被淘汰,在这种情况下,智能化传感器得到了突飞猛进的发展。智能化传感器由微传感器、微处理器、微执行器和接口电路组成。其主要作用是可根据输入信号进行判断并制定决策,可根据软件控制做出决定,可与外部信息进行交换,并具有自检测、自修正等功能。
2.微型化 微型传感器的典型特点是体积小,其敏感原件的尺寸一般为微米级。经过多年努力,微型传感器技术已广泛应用于医疗领域中。在临床中,微型传感器可以将所需的信息如血液、胃酸、体液中的特定成分等准确地传给医生。此外,微型传感器可以凭借其“娇小”的体积进入常规仪器不能到达的部位,将病灶的位置进行实时反馈。典型的微型传感器是“电子药丸”所带的微传感器,其大小近似于药片,可口服,内装有无线发射器,用于测量胃液成分,可将胃液信号直接通过无线电发送到体外,使医生及时了解胃液情况。
3.多参数 多参数传感器由若干敏感元件组成,不同的敏感元件具有不同的物理结构和化学性质,因此可实现用一个传感器实时测量多种参数,实现多种传感器功能。多参数传感器大多用于人工嗅觉方面,如“电子鼻”,它是由一个交叉选择式气体传感器阵列和相关的数据处理技术组成,并配以恰当的模式识别系统,具有识别简单和复杂气味的能力。在临床应用中,“电子鼻”可以绘画出患者的“呼吸图”,从而方便医生观察判断患者是否受到细菌感染。此外,“电子鼻”还能提供对抗细菌的抗生素。
4.可遥控 遥控传感器就是将遥控技术与传感器技术进行结合形成一种新型的可遥控传感器。在临床诊断治疗中,在患者体内植入或让患者吞服一些检测体内各种参数的传感器或定期释放药物的装置时,需要使用遥控技术在体外控制这些传感器。如微型传感器中的“电子药丸”就是利用遥控技术来完成定点采样、药物释放、图像采集等任务。
随着人们健康意识的不断提高和现代医学手段的多样化,其他一些新型传感器如DNA传感器、光纤传感器、无创检测传感器等也逐渐展露出其优异的性能,成为现代临床诊断研究的重点领域,医用传感器技术的创新必然会推动现代临床医学的更快发展。
在数据挖掘过程中,数据的质量直接决定了模型的预测和泛化能力的好坏。然而在现实生活问题中,原始数据往往非常混乱、不够全面,可能包含大量缺失值,也可能包含大量噪声,这将非常不利于算法模型的训练。因此在采集完数据后,建模的首要步骤就是数据预处理,其目的是去除原始数据中的无效数据、不规范数据、错误数据;补齐数据中的缺失值;对数据范围、量纲、格式、类型进行统一化处理;得到标准的、干净的数据,提供给数据统计、数据挖掘等使用。数据预处理主要有以下步骤:处理缺失值、数据标准化、特征选择。
1.处理缺失值 此步骤主要在数据清洗阶段,缺失的数据主要分为数据记录丢失和各种原因而导致的数据记录的空缺。相对于丢弃而言,通过一定的方法将缺失的数据补上在缺失值处理中更加常见。常用的补齐数据中的缺失值方法有均值插补、同类均值插补等。均值插补是针对属性距离可度量的样本,可使用该属性有效值的平均值来插补缺失的值。同类均值插补是将样本数据分类后以该类中样本的均值来插补缺失值。
2.数据标准化 由于算法要求样本具有零均值和单位方差,一般需要对数据进行标准化处理。数据标准化是将不同规格的数据转换到统一规格或将不同分布的数据转换到某个特定范围。此类操作也被称为无量纲化。数据标准化常用的有最小-最大标准化、Z - score标准化等方法。最小-最大标准化又称为min - max标准化,是指对原始数据进行线性变换,设min为属性的最小值,max为属性的最大值,主要原理就是将原始值通过min - max标准化映射到[0,1]区间的值。该方法的公式为:
Z - score标准化是基于原始数据的均值和标准差进行数据标准化,适用于属性最大值和最小值未知的情况。其公式为:
3.特征选择 在实际的数据处理过程中,特征维度通常过高,增大了模型的计算复杂度。所以需要对多维数据的特征进行选择,去除不必要的特征。特征选择是从所有特征中,以统计检验中的分数及相关性指标为依据,选择出对模型建立有用的特征,避免导入不必要的特征。消除不相关的特征能够在降低学习任务的难度、降低模型复杂度的同时,也会提高模型的表达能力。常见的特征选择分为过滤式、包裹式、嵌入式。过滤式特征选择是先对数据集进行特征选择后,再训练学习器。包裹式选择是将要使用的学习器的性能作为特征子集的评价指标,该方法可针对特定的学习器进行优化,较过滤式特征选择效果更好。
面对大数据的爆炸式增长,且具有大数据量、异构型、高时效性的需求时,数据的存储不仅有存储容量的压力,还给系统的存储性能、数据管理乃至大数据的应用方面都带来了挑战。数据存储具有很强的现实意义,只有采取合理的数据存储方式,才能够有利于数据的管理、检索等。数据存储主要分为块存储、文件存储、对象存储三种方式。
1.块存储 一般体现形式是卷或者硬盘,数据是按字节来访问的。块存储对里面存的数据内容和格式是一无所知的。块存储只负责数据读取和写入,因此性能很高,适用于对响应时间要求高的系统,如数据库等。
2.文件存储 一般体现形式是目录和文件,数据以文件的方式存储和访问,按照目录结构进行组织。文件存储可以对数据进行一定的高级管理,比如在文件层面进行访问权限控制等。文件存储可以很方便地共享,因此用途非常广泛。比如常用的NFS、CIFS、FTP等都是基于文件存储的。
3.对象存储 一般体现形式是一个UUID,数据和元数据打包在一起,作为一个整体对象存在一个超大池子里。对于对象访问,只需要报出它的UUID,就能立即找到它,但访问的时候对象是作为一个整体访问的。对象存储可以非常简单地扩展到超大规模,因此非常适合数据量大、增速又很快的视频、图像等。
图像的特征可以分为四类:①图像的视觉特征,包括边缘、轮廓、形状、纹理和区域等;②图像的统计特征,包括灰度直方图特征、矩特征,其中矩特征包括均值、方差、峰度及熵特征等;③图像变换系数特征,包括傅里叶变换、离散余弦变换、小波变换等;④图像代数特征,包括矩阵的奇异值。
特征提取(feature extractor)是指将原始输入数据的数据维度减少或者通过变换或重新排列组合的形式将原始特征进行整理的过程。其中,数据特征减少维度的目的在于从一组数据中挑选出一些最有效的特征,常见的方法包括主成分分析、奇异值分解等。对数据特征进行变换或重新排列组合是为了得到更有利于分类、更本质、更少的新特征的过程。
1.边缘特征 图像边缘是图像最基本的特征,所谓边缘是指图像局部特征的不连续性。灰度或结构等信息突变处称之为边缘。例如,灰度级的突变、颜色的突变、纹理结构的突变等。边缘是一个区域的结束,也是另一个区域的开始,利用该特征可以分割图像。
图像的边缘有方向和幅度两种属性。边缘通常可以通过一阶导数或二阶导数检测得到。一阶导数是以最大值作为对应的边缘的位置,而二阶导数则以过零点作为对应边缘的位置。
要得到一幅图像的梯度,则要求在图像的每个像素点位置处计算偏导数。我们处理的是数字量,因此要求关于一点的邻域上的偏导数的数字近似,因此一幅图像 f 在( x , y )位置上的 x 和 y 方向上的梯度大小计算如下:
2.形状特征 形状特征有两类表示方法,一类是轮廓特征,一类是区域特征。图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。以下介绍几种典型的形状特征描述方法。
(1)轮廓特征 轮廓是一系列相连的点组成的曲线,代表了物体的基本外形。其与边缘的不同在于:①轮廓是连续的,边缘并不全都连续;②边缘主要作为图像的物体特征,而轮廓主要用来分析物体的形态(如周长和面积);③边缘包括轮廓。一般在二值图像中寻找轮廓,寻找轮廓是针对白色物体,即物体是白色,而背景是黑色。其描述方法主要有边界特征法、边界方向直方图法、傅里叶形状描述符法等。
边界特征法:通过对边界特征的描述来获取图像的形状参数。其中Hough变换检测平行直线和边界方向直方图方法是经典方法。Hough变换是利用图像全局特性而将边缘像素连接起来,组成区域封闭边界的一种方法,其基本思想是点-线的对偶性。
边界方向直方图法:首先微分图像求得图像边缘,做出关于边缘大小和方向的直方图,通常的方法是构造图像灰度梯度方向矩阵。
傅里叶形状描述符法:傅里叶形状描述符(Fourier shape deors)的基本思想是用物体边界的傅里叶变换作为形状描述,利用区域边界的封闭性和周期性,将二维问题转换为一维问题。由边界点导出三种形状表达:曲率函数、质心距离、复坐标函数。
(2)区域特征 其描述方法主要有几何参数法、形状不变矩法等。
几何参数法:形状的表达和匹配采用更为简单的区域特征描述方法,如采用有关形状定量测量(如矩、面积、周长等)的形状参数法。需要说明的是,形状参数的提取必须以图像处理及图像分割为前提,参数的准确性必然受到分割效果的影响,对分割效果很差的图像,形状参数甚至无法提取。
形状不变矩法:利用目标所占区域的矩作为形状描述参数。
(3)纹理特征 是一种全局特征,反映的是图像中同质现象的视觉特征,体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性。图像纹理通过像素及其周围空间邻域的灰度分布来表现,即局部纹理信息。另外,局部纹理信息不同程度上的重复性,就是全局纹理信息。
纹理特征的提取方法可分为:①基于结构的方法,将要检测的纹理建模,在图像中搜索重复的模式。②基于统计数据的方法。
纹理特征的提取与匹配主要有灰度共生矩阵、Tamura纹理特征、自回归纹理模型、小波变换等。①灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。②Tamura纹理特征基于人类对纹理的视觉感知心理学研究,提出6种属性,即粗糙度、对比度、方向度、线像度、规整度和粗略度。③自回归纹理模型(simultaneous auto-regressive,SAR)是马尔可夫随机场(MRF)模型的一种应用实例。
脉象是指中医用手指感受到的脉搏搏动的形象。脉搏由心脏的收缩舒张运动引起,经富有弹性的动脉管,从主动脉传播至各分支动脉。脉学古籍中也有“心主血,其充在脉”“五脏所主,心主脉”之类的表述,由此可知人体脉象信号中含有大量心血管类生理信息;不仅如此,中医学认为人体脉象信号还可以反映人体五脏六腑的运行、气血的盛衰及经络的循行是否正常。如今,常见的脉诊方法为寸口三部九候脉诊法,即医生通过指腹触按患者腕后的寸、关、尺三部进行取脉,通过调整指腹触按的压力,结合感受到患者脉搏跳动的深浅、力度和节奏,来判断患者患病的部位及成因。根据医生手指触按压力的大小,将取脉压力分为浮、中、沉三个状态。
长期以来,中医通过手指感受脉搏的跳动情况,进而对患者的病情进行诊断。在诊断过程中,易受中医主观因素和个人经验的影响,中医的诊断结果和实际脉象之间可能会有一定的差异。对于同一患者,不同的中医可能会给出不同的结论。与此同时,患者的脉象不能记录,无法进一步对其机理进行分析研究。以上情况使得中医脉诊难以统一判断标准,不利于脉诊的发展。
脉诊客观化的第一步就是采集患者的脉象信号。与中医切脉不同,采集脉象信号时将脉搏转换为量化的数字信号,从而避免了中医因主观感受而对脉象的分析判断产生影响,也为后续脉象信号的分析识别做好数据准备。目前,常用的脉象传感器包括压力传感器、多普勒传感器、光电传感器等。
1.脉象信号的预处理 通过脉象仪采集的脉搏信号通常带有畸变,常见的畸变信号为高频噪声、基线漂移、伪迹和饱和。在对脉搏信号进行特征提取的过程中,如果原始信号中存在大量的畸变信号,就会因为数据包含太多的异常值而影响特征提取的准确性,从而影响后续的研究,对于模式识别和机器学习模型的训练产生不利的影响。因此,在进一步分析信号前,需要通过信号预处理的过程来提升信号质量,保证分析结果的准确性。
(1)高频信号 脉搏信号中存在的高频噪声一般是由电网工频干扰引起。通常可以使用滤波器对高频信号进行过滤,例如使用截止频率分别为50Hz和60Hz的高通滤波器来过滤工频干扰造成的高频噪声;采用平滑滤波器和零相位滤波器来获得适当频带并消除噪声。目前常见的脉搏信号高频噪声滤除方法是傅里叶变换与小波变化,与傅里叶变换滤波相比,小波变换方法使得脉搏信号滤波后信号波形尖峰处细节保持得更加良好。
小波变换在低频部分时间分辨率较低,但是频率分辨率较高;在高频部分则刚好相反,时间分辨率较高,频率分辨率较低,随着小波分解层数的增大,小波的分解作用集中于低频部分。小波分解对于分析非平稳的信号和提取信号的局部特征来说很适合。
假设信号 f ( t )∈ T 2 ( S ),将其小波变换定义为如下式:
其中, a ∈ R + 和 b ∈ R + 分别表示尺度因子和识别因子,且小波基函数 M a,b ( t )为:
其中,称为小波母函数,推导后可得到小波变换的频域表达形式为:
脉搏信号是典型的非平稳和非线性信号,其本身奇异点较多,并且信号噪声大多集中在高频范围,因此小波变换非常适合处理脉搏信号。
(2)基线漂移 主要是由于人体呼吸和运动造成的。基线漂移是耦合在脉搏信号中的低频信号分量,它的出现会使得脉搏信号形成局部波形异常,从而导致时域分析时提取的特征点出现偏差。消除基线漂移的常用策略有曲线拟合和滤波。基于曲线拟合的策略包括线性插值、多项式曲面拟合及三次样条插值估计等方法。
(3)饱和与伪迹 脉搏信号中存在的饱和与伪迹是两种常见并且难以去除的畸变。饱和畸变是指脉搏信号波形幅值超过采集设备所能记录的最大值或最小值,使得采集设备最终记录的脉搏信号的波形尖峰或低谷出现削平现象,这种信号采集时发生的信息丢失难以恢复。常用的伪迹检测方法首先将脉搏信号分割为多个子段,再从子段中提取均值、方差及样本熵等统计信息,最后依据这些统计特征判别子段是否含有伪迹畸变。随着深度学习的发展,目前也有研究者在探索使用神经网络进行伪迹检测,端到端的学习方式避免了人工的特征工程工作。
2.去噪效果评价 一般在对去噪效果进行评价时,采用信噪比(signal noise ratio,SNR)与均方根误差系数(root mean squared error,RMSE)来进行定量描述。其中,SNR可以用于衡量信号的去噪效果,SNR越大说明信号的去噪效果越好;RMSE可以衡量去噪后信号的失真度,RMSE越小说明去噪后的信号和原始信号相比失真程度越低。定义式如下:
其中 f ( i )代表噪声的原始信号, p ( i )代表去除噪声后的脉搏信号。
3.脉象信号的特征提取 现有的脉搏信号特征提取方法包括频域分析法、时域分析法、时频域结合分析法、非线性分析、曲线拟合、降维及基于神经网络的方法等。
(1)时域分析 主要从脉搏信号波形图中提取极值点或拐点作为脉搏波形特征点,这些时域特征点通常具有某些生理意义,在进行脉搏信号分析时,将波形特征点与其相应的生理意义结合,会得到一些在医学上具有可解释性的分析结果。由于时域分析法比较直观且易于理解,该方法成为目前脉搏信号分析中最为普遍使用的方法。时域上常用波形参数有主波波峰高度、重搏波波峰高度及潮汐波波峰高度等。
(2)频域分析 时域波形特征不能够完全体现脉搏波信息,同时脉搏波在不同频段具有不同信息,因此引入频域分析法对脉搏信号进行分析。频域分析法主要通过脉搏信号相应的频谱图对脉搏信号进行分析,通常使用傅里叶变换实现信号在时域和频域之间的转换。与时域特征的相关性分析表明,谐波幅值、初相角与时域特征参数中间均具有相关性,且两者均能反映出人体动脉硬化情况及外周阻力的大小,具有一定的生理意义。
(3)时频域分析法 使用短时傅立叶变换或小波变换等方法作为脉搏波时频域分析法,可以获得脉搏信号频谱随时间变化的图像。
(4)非线性动力学分析 近年来,随着非线性问题在生物医学信号中的出现,传统的线性分析方法已不能满足于解决此类问题。非线性动力学由此而生,并在生物医学信号中逐渐成为重要的分析方法之一。随着非线性动力学的发展,越来越多的学者尝试将其应用于脉象信号的分析中,探究脉象信号的非线性与脉象类型之间的关联。常用的方法包括近似熵分析、Lempel-Ziv分解及Lyapunov指数分析等。
(5)降维特征提取 基于降维的特征提取方法,其主要思想是在低维空间表示高维测量信号。常用的方法有独立分量分析法(principal component analysis,PCA)、主成分分析法和线性判别分析法(linear discriminant analysis,LDA)等。
(6)深度学习特征提取 基于深度学习的特征提取方法已在医疗图像分析、心电图检测等领域广泛应用。但在针对脉搏信号的分析研究领域中,此类特征提取方法应用较少。与图像分析领域相同,目前常用于脉象信号分析的深度学习模型为卷积神经网络。
传统中医的舌脉诊断过程大多是在自然环境下进行的,使得舌脉观测过程中存在着较多的不确定性因素。例如,传统舌诊经常在开放式的自然环境下进行,受到自然光线和地点方位等不可控的因素影响,从而导致舌象观测获得的颜色特征不稳定,甚至出现失真。并且传统中医对于舌诊的文字描述缺乏统一的详细标准,在一定程度上造成舌诊的观测结果常常因为人为的因素导致可重复性不强。
随着数字图像处理技术的快速发展,以及多媒体应用的迅速普及,作为舌诊客观化研究基础的舌图像采集也在逐渐地朝着数字化的方向发展。如今的舌象采集系统可以通过数码照片的方式对舌象研究信号进行采集。
1.彩色舌图的预处理 由于在采集过程中,受试者伸出口外的舌面区域的面积要远大于置于口内的舌下区域,因此对同一尺寸的舌面图像和舌下图像而言,舌下图像必然包含更多的无用信息,例如舌体区域、牙齿、嘴唇及面部等背景信息。因此,为了避免无用信息对于后续分析步骤的不良影响,需要将舌腹面区域从舌下图像中分割出来,以便更准确地从舌下图像中提取出舌下静脉轮廓。
2.彩色舌下图像的特征提取 彩色舌图为三通道的图像,其信号特征提取可以参考图像特征提取。
(1)颜色特征 通过提取舌面、舌苔的颜色特征,可以分析患者的体质和病情。一般采用基于颜色空间的特征提取方法,例如HSV颜色空间、Lab*颜色空间等。
(2)纹理特征 舌面、舌苔具有丰富的纹理特征,通过纹理特征的提取可以反映舌部的状况。一般采用基于小波变换、灰度共生矩阵(GLCM)等方法进行纹理特征提取。
(3)形状特征 舌面、舌苔的形态也可以反映患者的病情。通过基于形状的特征提取方法,可以提取出舌面、舌苔的轮廓、凸包、面积等特征,用于分析患者的病情。
(4)组合特征 将以上不同的特征提取方法结合起来,综合分析舌诊图片的多种特征,可以提高舌诊的准确性和稳定性。
词向量(word embedding)技术是将自然语言中的词转化为稠密向量的过程,语义相似的词会有相似的向量表示。在自然语言处理中,首先需要将词语转化为计算机可以识别的方式,常用的两种方式分别是离散表示和分布式表示。常见的离散表示为onehot编码,例如n=5,则对应的one-hot编码为:
1:[1,0,0,0,0]
2:[0,1,0,0,0]
3:[0,0,1,0,0]
4:[0,0,0,1,0]
5:[0,0,0,0,1]
其优点在于可以对每个词进行独立编码,且对应的编码有且仅为1。但缺点也较为明显。首先,当序列总数过多时,所对应的编码数也相应增加,这会导致开销较大。其次,若只考虑词汇在系统中的位置,相关的编码方法并没有办法直接表达词汇所表达的意义。例如:
1.医生在把脉。
2.护士在拿药。
3.医生和患者在交流。
在上述的三句话中,若只考虑词汇出现的情况,则句子1和句子3都出现了“医生”这个词汇,按照one-hot的编码规则来看,两者的关系更近。但是按照句子所表达的含义来说,句子1和句子2都属于医护人员工作的过程,这两者才是表达了类似的含义,所以句子1和句子2的关系更近。
基于以上情况,在自然语言处理中使用了分布式表示,常用的方法即是词向量。在了解one-hot编码的缺点之后,词汇划分的方式可以由单个词汇对应单独编码改为将意思相近的词汇分在一起的方式进行。以上述例子为参考:可以将“把脉”和“拿药”放在一个类别中,“医生”和“护士”放在一个类别中,“患者”单独放在一个类别中,如图3-3所示,这样所表达的含义会更清晰。
图3-3 词向量示例图
embedding在数学中的定义可表示为一个函数,将变量X通过映射的方式转化为变量Y,而word embedding则是将词汇通过类似的方式映射到另外一个空间维度中,得到对应的多维向量。简而言之,就是通过找到一个合适的函数在新的空间中重新对词汇进行表达。目前较为经典的语言模型有word2vec、GloVe、ELMo、BERT。
1.word2vec 源于2013年,其核心思想是通过词的上下文信息得到词的向量化表示,主要方法有两种:连续词袋模型(continuous bag of words,CBOW)、连续跳字模型(Skip-gram,SG)。
CBOW是通过目标词的上下文的词来预测目标词,如图3-4所示,取大小为2的窗口,通过目标词前后两个词来预测目标词。具体的做法是,设定词向量的维度d,对所有的词随机初始化为一个d维的向量,然后要对上下文所有的词向量编码得到一个隐藏层的向量,通过这个隐藏层的向量预测目标词。CBOW中的做法是简单的相加,然后做一个softmax的分类,例如一个词汇表中有V个不同的词,就是隐藏层d维的向量乘以一个W矩阵 R dxV 转化为一个V维的向量,然后做一个softmax的分类。
Skip-gram的原理与CBOW相似,如图3-4所示,它的输入是目标词,先是将目标词映射为一个隐藏层向量,根据这个向量预测目标词上下文两个词,因为词汇表大和样本不均衡,同样也会采用多层softmax或负采样优化。
图3-4 CBOW、SG模型
2.GloVe word2vec只考虑到了词之间的局部信息,并没有考虑到词与其他位置词的关系,这在长语句中会出现很多问题。因此,GloVe的提出是为了弥补对于整体信息忽略的问题,在考虑局部信息的同时,又考虑到整体的信息。通过设计目标函数来拟合某个中心词和其他词的相关程度,把语句中的词共现次数作为词向量学习逼近的目标,当语句比较少时,有些词汇共现的次数可能比较少,可能会出现一种误导词向量训练方向的现象。
3.ELMo word2vec和GloVe存在一个问题,即词在不同的语境下其实有不同的含义,而这两个模型词在不同语境下的向量表示是相同的。ELMo就是针对这一点进行了优化。ELMo有两个优势:①能够学习到单词用法的复杂特性;②学习到这些复杂用法在不同上下文的变化。针对①,通过多层的stack LSTM去学习词的复杂用法,不同层的输出可以获得不同层次的词法特征,且不同的层可以针对词义消歧需求任务和词性、句法需求任务,分别对应不同的权重。②的需求则通过使用预训练策略和微调策略来实现。
4.BERT 自然语言处理中共包含4大任务,如图3-5所示,分别为序列标注、分类任务、句子关系判断、生成式任务。BERT为前3个都设计了极其简单的下游接口,有效提升了实验效果。BERT和ELMo的工作方式类似,都是在大规模的语料库中进行预训练,在输入下游任务后对模型进行微调,因此效果较好。ELMo模型采用的是LSTM模型,是单向的,按照顺序进行推理;LSTM模型作为一个序列模型,必须等到前一步计算结束之后才可以进行下一步计算,并行计算能力较差。BERT采用Transformer作为编码器,在预测时可以综合考虑上下文信息。
图3-5 BERT下游任务接口
在大数据的时代背景下,智能化发展已经成为各行各业的发展追求,在中医学领域,也同样希望可以发展智能辅助诊疗系统。然而,中医学知识体系庞大且错综复杂,极其依赖医生的临床经验,并面临很多挑战:①医疗数据中充满噪声,不管是向患者问诊获取的文本数据,还是患者舌象等图像数据,对预测结果产生有效影响的往往是细节特征。②中医诊疗任务是专业性极强的预测任务,需要丰富的领域背景知识作为指导。③中医临床门诊数据采集成本高,可用的数据有限,对神经网络模型建模效率的要求比其他任务更高。④中医门诊以全科医学为主,在实际情况中常常需要面对罕见病例的情况,这就要求智能中医辅助诊疗模型具备少样本甚至零样本学习(又称零次学习)的能力。除了上述挑战之外,真实门诊场景下采集的问诊、望诊数据,需要克服自然语言中的不确定语境,以及计算机视觉中多种光照、多种拍摄角度、拍摄质量不均衡等各种可能对最终系统性能的干扰因素。
1.中医知识图谱 中医文献大都是以自然语言的方式描述的,而且纷繁复杂,医疗记录中蕴含着症状、诊断信息,医书中蕴含方剂、病理信息,药物典籍中蕴含组分、制作方法信息等,若采用人工方法提取这些信息,会耗费大量的人力物力,因此可以考虑利用词向量模型进行古籍特征信息提取。
目前,知识图谱被广泛地应用于各个领域,其中医疗领域是知识图谱重要的研究领域之一。但是,专门的医学方向特别是中医学方向知识图谱的构建研究仍较少。中医学对中医知识没有统一的描述,不同医家对疾病的具体证型及划分标准存在差异,由此在一定程度上阻碍了中医学知识的共享与应用。中医学经过了千百年来的积累,从最初的《黄帝内经》(以下简称《内经》)、《神农本草经》,以及后来出现的《伤寒论》等各种中医文献,记录了大量的中医名方及中医药知识,后人在此基础之上不断地进行改进和补充,完善了中医学知识体系结构。中医药知识虽然丰富,但是由于数据结构的不同,大部分都无法直接使用。目前,网络上的结构化数据和半结构化数据大量共享,可以通过数据间结构化的关系挖掘隐含的新知识。但是中医药知识大量的数据以非结构化的文本形式存储,在较大程度上阻碍了中医药知识的共享和有效利用。使用人工检索的方法从这些海量的医学文本中提取知识无法满足现代研究的需求,这就需要采用更加高效、准确的现代化方法进行提取。随着计算机技术的不断发展,给人们从这些“多源异构”的数据中提取有用的数据提供了有效的方法。上海曙光医院构建了中医药知识图谱,以症状、疾病和中药材为节点,并将该知识图谱与统一的医学语言模型进行对接,给出疾病治疗的相关知识。中国中医科学院构建了中医养生知识图谱,对体质、症状、疾病与养生方法之间的关联关系进行提取,以中医养生处方为中心节点进行构建,可以根据疾病与症状推荐中医养生处方;缺点是忽略了疾病和症状的多对多关系,针对同时出现的多个症状无法综合推荐中医养生处方,也无法对疾病进行预测。目前,对于中医学领域知识图谱的构建研究仍处于起步阶段,对于药物与疾病之间的隐含知识仍然需要更多的挖掘实践。利用知识图谱技术对“多源异构”的中医名方知识进行提取并加以利用,是中医学领域知识图谱的一项重要的研究任务。
2.问诊领域 问诊作为中医“四诊”中了解患者大致疾病类型的一项,可以有效地对患者疾病进行定位,并进行分诊。智能问诊主要处理的是患者在门诊过程中的对话录音转置为文本信息,或者是在线中文医疗咨询的问题文本记录。智能问诊系统可以提供高效、便捷的中医问诊服务,通常包含输入/输出设备和智能诊断模型两个部分,其呈现的载体包括智能手机、电脑网页等。技术实现上主要分为患者症状量化、智能诊断两个步骤,前者提取患者证候特征,后者根据特征对其病证进行识别或分类。问答方式则一般分为调查问卷和语音问答两种方式。调查问卷是指系统通过问诊证候量表对患者身体状况信息进行收集;而语音问答是指用户通过语音方式描述身体状况,通过自然语言处理获取语义信息,再进行疾病的分析和诊断。目前的中医问诊系统为获取标准化的问诊答案,大多采用证候诊断量表进行问卷式问诊,一般通过浏览器或小程序方式对用户健康信息进行问答式采集。而在传统中医诊疗中,通常需要医生一个人对患者进行全方位的诊断,这不仅导致医生的工作内容加重,还需要在问询中确定具体病因。
不同于利用临床病历、处方等强专业性文本进行疾病分类,普通患者的求医问题通常仅包含对患者自身体感的大致描述,不具备此类文本所带有的强专业性,表述随意,很多患者甚至无法描述体感症状的准确名称,整句提问中往往只有只言片语能够准确反映患者疾病的类别,它们被混杂在大多数的上下文中,使得从患者求医咨询类问题中判断所述疾病的类型相比从电子病历等文本中判断更加困难。而这恰恰是移动诊疗服务中急需解决的一个问题,即利用患者提供的自述性的咨询文本,进行分类,并预测患者所属的科室。随着神经网络语言模型和word2vec的提出,深度学习方法逐渐在众多自然语言处理任务中获得了很好的结果,这其中就包括文本分类。对于中医患者提问文本的处理,Zhou H. [1] 将双向LSTM结合条件随机场的架构应用到了中文医疗文本的自动标注上,He J. [2] 和Ji B. [3] 分别将深度神经网络应用于中文医疗文本的命名实体识别和自动问答系统。Ren F. [4] 将深度学习技术应用于中文医疗文本中的关系抽取任务。近两年,基于注意力机制的Transformer架构通过多方向的上下文关系建模,在文本分析领域取得了惊人的结果 [5] ,Xue K. [6] 利用基于Transformer架构的BERT语言模型对中医文本进行关系抽取。在以上研究背景下,配合中医学领域知识图谱,对患者在线提问的医疗咨询文本进行建模,提升患者医疗咨询提问科室分类的准确性是一项较为基础又十分重要的工作,为后续进一步增强辅助诊断服务的功能及质量有着重要的意义。
问诊智能化基于问诊数据挖掘和确定证型与症状之间的关系,可作为望诊等技术的有效补充。为了实现这一目的,如何设计更具针对性的有效问诊问题则至关重要。目前常用的方法就是参照“十问歌”或利用推荐算法来给出中医问诊提示,因此也就需要准备问诊数据集。目前应用中常见的有DS01-A和DKF-I中医四诊仪中的问诊模块等。目前已有的真实问诊数据集涉及包括冠心病、缺血性中风病和慢性疲劳综合征等病症,并已标注了症状与证型的关联关系。
[1]Zhou H,Guo W,Ke D,et al.Annotations of Chinese Electronic Medical Record using BiLSTMCRF based Networks[C]//Proceedings of the 2019 International Symposium on Signal Processing Systems.2019:131-135.
[2]He J,Fu M,Tu M.Applying deep matching networks to Chinese medical question answering:a study and a dataset[J].BMC medical informatics and decision making,2019,19(2):52.
[3]Ji B,Li S,Yu J,et al.Research on Chinese Medical Named Entity Recognition Based on Collaborative Cooperation of Multiple Neural Network Models[J].Journal of Biomedical Informatics,2020:103395.
[4]Ren F,Yuan S,Gao F.Extraction of Transitional Relations in Healthcare Processes from Chinese Medical Text based on Deep Learning[C]//Proceedings of the 2019 4th International Conference on Mathematics and Artificial Intelligence.2019:56-60.
[5]Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[C]//Advances in neural information processing systems.2017:5998-6008.
[6]Xue K,Zhou Y,Ma Z,et al.Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text[J].arXiv preprint arXiv:1908.07721,2019.