下载掌阅APP，畅读海量书库
立即打开
学校名称：郑州轻工业大学
团队队员：杨阳、陈泓利、陈新杰
指导老师：李一浩
摘要
帕金森病（PD）被称为“不死的癌症”。据《中国帕金森病治疗指南（第四版）》统计，我国65岁以上老年人帕金森病的患病率高达1.7%，中国有将近300万的帕金森病患者，约占全球帕金森病患者的一半。我国每年有10万以上的帕金森病新增病例。世界卫生组织专家预测，中国2030年的帕金森病患者将达到500万。目前，全国仅有1000多位帕金森病的专科医生，医患比高达1：3000，医师资源稀少，就诊率低，很多患者得不到及时有效的治疗。目前，帕金森病的临床评估主要依靠UPDRS量表和HY量表，通过患者的主观描述和医生的主观观察进行评估。这些传统的评估量表存在评估时间长、指导措辞模棱两可、缺乏量化指标且时间和地点受限等问题，对于早期帕金森病患者的评估效果不理想。
针对以上痛点，本团队开发了帕病管家——基于多数据分析的帕金森病筛查与评估系统（在本节中简称本作品）。
本作品基于OpenHarmony、华为云IoT、HarmonyOS开发了筛查和评估两大功能模块，筛查模块针对帕金森病的早筛场景，即针对尚未确诊帕金森病的人群，该模块提供基于语音和螺旋图的筛查服务，分别采集用户的语音和绘制的螺旋图，通过AI算法进行识别，得出用户患帕金森病的风险，建议风险较高的用户就医，实现疾病的早诊断早治疗；评估模块针对已经确诊帕金森病的患者，通过可穿戴手套对帕金森病患者手部震颤数据、手指弯曲角度、食指和拇指捏合力度三种类型的数据进行采集，通过不同的AI评估算法、范式动作并结合AI-UPDRS评估体系分别对患者手部的稳定性、灵活性和协调性进行评估，能够及时发现患者用药或手术治疗后的病情康复效果，进一步提升评估的客观性和精准性，辅助医生提升评估效率，降低了医院评估工作强度，减轻了患者经济与心理负担。
本作品的整体展示如图1.4-1所示。
图1.4-1 本作品的整体展示
（1）本作品可为尚未确诊帕金森病的人群提供基于语音和螺旋图的筛查服务，通过AI算法识别用户的语音和绘制的螺旋图，得出用户患帕金森病的风险分数，根据风险分数给出相应的建议，如继续观察、咨询医生或到医院进行详细检查，帮助用户及时发现疾病的迹象，实现疾病的早诊断、早治疗，避免病情恶化。
（2）本作品可为已经确诊帕金森病的患者提供手部数据采集和评估服务，通过可穿戴手套对患者手部震颤数据、手指弯曲角度、食指和拇指捏合力度等数据进行采集，通过不同的AI评估算法、范式动作并结合AI-UPDRS评估体系，对患者手部的稳定性、灵活性和协调性进行评估，给出相应的评分和等级，反馈患者的用药或手术治疗后的病情康复效果，帮助患者及时调整治疗方案，实现疾病的有效控制。同时，本作品也可以辅助医生提升评估效率，降低医院评估工作强度，减轻患者经济与心理负担，提高医患沟通效率和信任度。
（1）语音筛查和螺旋图筛查。本作品基于国产MindSpore深度学习框架分别构建了基于卷积神经网络的PD螺旋图筛查模型、基于残差神经网络的PD语音筛查模型，并在华为云ECS上部署了训练好的模型。
（2）数据采集和传输。可穿戴手套集成多种传感器，使用海思Hi3861作为主控芯片，使用OpenHarmony操作系统，通过MQTT协议使用华为云IoTDA实现极简上云，将加速度、角速度、弯曲数据和压力数据打包成JSON格式的数据包，通过Wi-Fi传输到华为云IoT平台上。
（3）AI评估算法。通过构建CNN+LSTM模型，本作品对患者手部的稳定性、灵活性和协调性进行评估分级；通过对弯曲数据使用指数加权方法滤除噪声并进行归一化处理，结合TAM评定法完成手部灵活性评估；通过压力值构建FT-N（手指敲击次数）算法，结合UPDRS量表得出手部协调性分级。
本作品的主要性能指标如表1.4-1所示。
表1.4-1 本作品的主要性能指标
（1）基于语音和螺旋图的帕金森病筛查功能。本作品使用了基于残差神经网络（ResNet50）的语音分类模型，以及基于卷积神经网络（CNN）的图像识别模型。对于帕金森病，传统的筛查方式是由医生进行体检或者运用常规量表评估风险，这种方式通常费时费力，并且容易出错。本作品利用AI技术对语音和螺旋图数据进行分析，针对50岁以上的人群，以及家庭医生诊所、体检中心等医疗服务提供商，能够更快速、准确地判断患病风险。
（2）多传感器精准检测，实现了对手部稳定性、灵活性和协调性的评估。本作品基于OpenHarmony操作系统接入传感器进行精准检测，实现了对帕金森病患者手部稳定性、灵活性和协调性的评估。在使用时，本作品的可穿戴手套采集人们的手部数据，实现了非侵入式、低成本、高效率的数据采集方式。针对已确诊帕金森病的患者，本作品提供了对手部稳定性、灵活性和协调性的评估，减轻了医生压力，能够更加准确地监测治疗效果和疾病的进展，提高了评估的客观性和精准度。
本作品的设计流程和开发阶段如图1.4-2所示。
图1.4-2 本作品的设计流程和开发阶段
本作品的整体架构如图1.4-3所示。
图1.4-3 本作品的整体架构
本作品的数据采集模块可以对患者的手部相关数据进行无线远程采集，包括手部震颤、手指弯曲角度、手指捏合力度等数据。在患者日常生活中，可以使用本作品进行日常采集和评估。本作品由惯性传感器（MPU6050）、弯曲传感器（Flex4.5 " ）和压力传感器（Force Sensing Resistor，FSR）组成，主控系统是基于OpenHarmony操作系统开发的，穿戴节点为手腕、手指和手臂，可通过多个传感器采集全方位的数据。本作品搭载了Wi-Fi模块，具有无线传输、工作时间长、微负荷、便携等特点。本作品的主控芯片和内部传感器如图1.4-4所示。
图1.4-4 本作品的主控芯片和从内部传感器
（1）机械设计介绍。本作品的机械设计草图如图1.4-5所示，机械设计示意图如图1.4-6所示。
图1.4-5 本作品的机械设计草图
图1.4-6 本作品的机械设计示意图
（2）电路各模块介绍。本作品的主控芯片内部架构如图1.4-7所示，电路原理图如图1.4-8所示。
图1.4-7 本作品的主控芯片内部架构
图1.4-8 本作品的电路原理图
在使用本作品进行检测时，首先，打开终端上的开关后，服务器接收到请求后调用华为云IoT消息通信中的命令下发API，控制设备的启动；其次，本作品的内部传感器即刻开始采集数据，在5～10 s内可完成数据采集，通过MQTT协议将采集到的数据传输到华为云IoT平台，通过华为云IoT平台规则引擎中的数据转发服务将数据转发至华为云ECS，并输入到训练好的神经网络模型中，得出该项指标的具体情况；最后将原始数据和检测结果存储到MySQL中，最终在手机或平板中进行显示。
本作品的软件架构如图1.4-9所示。
图1.4-9 本作品的软件架构
本作品的软件模块介绍如下：
（1）基于华为云IoT平台的数据传输和后台模块。
①帕金森病的监测数据传输和标注物模型设定：本作品以海思Hi3861作为主控芯片，通过华为云IoT平台实现数据的传输。本作品采用MQTT协议将惯性传感器的数据、弯曲传感器的数据、肌电传感器的数据和压力传感器的数据打包成JSON格式的数据包，通过Wi-Fi模块传输到华为云IoT平台。在华为云IoT平台上建立帕金森病监测手套（可穿戴手套）的物模型，如图1.4-10所示，实现了平台的二次开发和一键导入。本作品的物模型包括加速度、角速度、压力、弯曲角度、训练时长等。
图1.4-10 帕金森病监测手套的物模型
②使用华为云IoT平台的数据转发服务，将数据转发到华为云ECS，华为云ECS使用的是基于Django的Web应用框架。本作品将采集到的数据传输到华为云IoT平台，再传输到华为云ECS，实现了数据的持久化存储。华为云IoT平台规则引擎中的数据转发服务如图1.4-11所示。
③命令下发和规则算子下发的实现：通过平板电脑调用华为云IoT平台的命令下发API，可实现手指弯曲、手指捏合、手指震颤、手臂弯曲等范式动作的控制命令，并通过对应的传感器获取数据。另外，本产品还可以将部署在云端的规则算子下发到端侧设备中，可远程更新端侧算法和参数等。命令下发和规则算子下发的示意图如图1.4-12所示。
图1.4-11 华为云IoT平台规则引擎中的数据转发服务
图1.4-12 命令下发和规则算子下发的示意图
（2）加速度和角速度的采集，以及手部稳定性、灵活性和协调性的评估。本作品采用MPU6050传感器，该传感器是通过I2C总线协议实现数据采集和传输的。本作品使用了BearPi-HM_Nano开发板，该开发板搭载了海思Hi3861，集成了IEEE 802.11b/g/n基带和RF电路，具有超低功耗的特性，充分考虑了物联网感知层设备的多样性，具有强大的可扩展性。海思Hi3861（本作品的主控芯片）集成了Wi-Fi模块，可以无线传输数据，操作更加便利。海思Hi3861具有简易快捷、超小的体积、极低的功耗，使其成为苛刻应用场合下的最佳选择。
根据对帕金森病量表评估的调研，本作品提取了35个具有区分性信息的特征参数，如运动周期、峰值功率、均值、标准差等。从时域中提取的特征参数包括RMS、振幅差、周期等，主要反映信号随时间变化的快慢与波动情况。从频域中提取的特征参数包括功率谱峰值等，主要反映信号的频率结构。通过因子分析法，将提取的35个特征参数降至7个，分别是均值、未覆盖窗口的均值、标准差、未覆盖窗口的标准差、偏度、峰度和线性拟合一次系数，可减少特征参数的计算时间，提高计算效率。本作品使用深度学习算法对患者的病情进行评估，构建了卷积长短期记忆神经网络（LSTM）帕金森病情评估模型。卷积神经网络（CNN）的作用是融合提取的特征参数，然后将输出的特征参数映射为序列向量，并输入到LSTM中。第一层卷积读取输入序列，并将结果映射到特征图上；第二层卷积在第一层卷积创建的特征图上执行相同的操作；第三层卷积在第二层卷积创建的特征图上执行相同的操作，尝试放大显著的特征参数。每个卷积层使用64个特征图，并以3个时间步长的内核大小读取输入序列，将其作为解码过程的输入，经过两层LSTM后，可将提取的特征图展平为一个长向量，加入概率为0.8的Dropout层，用于防止过拟合，最后使用密集全连接层，用于帕金森病情分级。手部稳定性、灵活性和协调性的评估流程如图1.4-13所示。
图1.4-13 手部稳定性、灵活性和协调性的评估流程
（3）多终端鸿蒙应用。本作品基于OpenHarmony操作系统分别打造了手机、平板电脑和嵌入式大屏多终端应用。用户可根据不同的场景和需求选择最合适的设备，提高了用户的便利性和满意度。利用OpenHarmony操作系统的特性，在不同的设备上实现服务的共享和流转，如基于语音和螺旋图的筛查服务、手部震颤数据的采集，以及手部稳定性、灵活性和协调性的评估等，让用户可以在任何一个设备上使用服务，无须重复输入或操作，提高了用户的效率和体验。本作品实现了数据（如用户的筛查和评估结果、医生的诊断和建议等）的同步和互通，用户可以在任何一个设备上查看或更新数据，无须担心数据丢失或不一致，提高了用户的安全性和信赖感。基于OpenHarmony操作系统的多终端应用如图1.4-14所示。
图1.4-14 基于OpenHarmony操作系统的多终端应用
本作品的整体实物如图1.4-15所示。
（1）机械成果。本作品的机械成果如图1.4-16所示。
（2）电路成果。本作品的电路成果如图1.4-17所示。
图1.4-15 本作品的整体实物
图1.4-16 本作品的机械成果
图1.4-17 本作品的电路成果
（3）软件成果。本作品的部分软件成果如图1.4-18所示。
图1.4-18 本作品的部分软件成果
在语音筛查方面，本作品使用Python对原始音频数据进行了预处理，并通过parseImouth库和Praat软件实现了复杂语音特征的提取，包括周期变化、峰值变化和谐波信噪比等。本作品最终将语音数据转换成一维向量数据集，利用卷积神经网络进行分类。本作品在测试集上的语音筛查准确率达到了80%以上，满足了性能指标的要求。
在螺旋图筛查方面，本作品针对帕金森病患者手部运动功能的障碍，通过图像处理算法成功地对帕金森病患者手部图片进行处理，并将其输入三层卷积神经网络中进行分析。本作品在测试集上的螺旋图筛查准确率也达到了85%以上，满足了性能指标的要求。
在评估功能方面，本作品的可穿戴手套集成了惯性传感器、弯曲传感器和压力传感器，并通过华为云IoT平台的接入服务实现了数据的传输。本作品采用深度学习算法构建了CNN+LSTM的AI评估模型，成功地对患者手部的稳定性、灵活性和协调性进行了评估，并达到了85%的准确率。同时，本作品使用弯曲传感器结合系统引导的自定义手势，完成了手指弯曲角度的测量和评估，并且采用压力传感器对手部的协调性进行了评估。经过测试，本作品的评估功能满足了性能指标的要求。
本作品进行筛查所用时间为20 s，进行评估所用时间为60 s，系统响应时间小于500 ms，这些指标都满足了性能指标的要求。
可穿戴手套具备耐久性，使用次数达到了10万次以上，质量在500 g以下，满足了实际使用的要求。
（1）数据采集扩展：目前，本作品主要使用手部震颤数据、手指弯曲角度和手指捏合力度等数据进行评估，未来可以考虑扩展数据采集范围，增加其他手部运动特征的采集，如手臂的动作范围、手指的迅速伸缩能力等，以提高评估的准确性。
（2）疾病筛查扩展：除了帕金森病，本作品还可以用于其他神经系统相关疾病的筛查，如多发性硬化症、中风后遗症等。根据不同疾病的特征，可以对数据采集和算法模型进行相应的调整。
（3）跨领域应用：除了医疗领域，可以考虑将本作品涉及的技术和算法应到其他领域。例如，可以应用于体育训练领域，对运动员手部的稳定性、灵活性和协调性进行评估；也可以应用于老年护理领域，监测老年人的手部功能衰退情况。通过跨领域的应用扩展，可以进一步提高本作品的价值和影响力。
首先，本作品的目标是提供帕金森病的筛查和评估功能，旨在早期发现患者或评估患者的病情康复效果，为医生提供更准确的治疗方案。这对于提高帕金森病患者的生活质量和减轻医院评估工作强度具有很高的实用价值。在本作品的开发过程中，团队采用了多种技术和方法，包括语音特征提取和分类模型、图像识别模型，以及帕金森病情评估模型等。通过深度神经网络和卷积神经网络等技术手段，实现了对语音和螺旋图数据的处理和分析，以及对患者手部数据的采集和评估。这些技术的应用使得本作品能够准确地判断用户是否患有帕金森病，并对患者的手部稳定性、灵活性和协调性进行评估。
其次，团队还使用了可穿戴手套和传感器等硬件设备，通过OpenHarmony操作系统和华为云IoT平台进行数据传输和处理，不仅提高了数据采集和评估的效率，同时也保证了本作品的稳定性和可靠性。在本作品的开发过程中，团队注重了性能指标，准确率、响应时间，以及硬件设备的耐用性等都是团队考虑的关键因素。本作品的基于深度神经网络的语音特征提取和分类模型准确率≥80%，基于卷积神经网络的图像识别模型准确率≥80%，以及卷积长短期记忆神经网络的帕金森病情评估模型准确率≥85%。
本作品的成功离不开团队的协作和努力，团队成员在本作品开发的各个阶段充分发挥了各自的专长和能力，共同推动了本作品的进展。团队成员互相配合，解决问题，不断改进和优化本作品，使其能够更好地服务于患者和医生。
[1] 张新凯，高萌，徐岩，等.可穿戴设备定量评估帕金森病伴冻结步态患者的美多芭负荷试验[J].临床内科杂志，2022，39（09）：606-609.
[2] 陈畅.基于腕部震颤信号的帕金森检测算法研究[D].哈尔滨：哈尔滨工业大学，2022.
[3] 金雯丽.头针联合体针治疗帕金森病运动功能障碍的临床观察[D].杭州：浙江中医药大学，2022.
[4] 李波陈.冻结步态可穿戴监测方法研究[D].合肥：中国科学技术大学，2022.
[5] 苗青.中华优秀传统文化与高校青年教育管理研究[M].北京：新华出版社，2021.
[6] 张新凯.可穿戴设备定量评估帕金森病患者的药物反应[D].郑州：郑州大学，2021.
[7] 冯云华.帕金森静止性震颤抑制系统的设计与实验研究[D].南京：东南大学，2021.
[8] 张腾，蒋鑫龙，陈益强，等.基于腕部姿态的帕金森病用药后开-关期检测[J].浙江大学学报（工学版），2021，55（04）：639-647，657.
本作品以海思Hi3861作为主控芯片，使用OpenHarmony操作系统，将采集到的患者数据传输到华为云IoT平台，并利用AI技术对患者的语音和螺旋图数据进行分析，能够快速、准确地判断患病风险，很好地辅助医生提升评估效率，降低医院评估工作强度，减轻患者经济与心理负担。本作品体现了学生对智能健康和医疗行业的敏锐嗅觉，充分利用端云和OpenHarmony人机交互能力，实现了较为完整的原型案例。