下载掌阅APP，畅读海量书库
立即打开
学校名称：华中科技大学
团队队员：刘景宇、周倍进、张嘉航
指导老师：曾喻江、游娜
摘要
在当今健身热潮的推动下，“有氧吧”应用的诞生代表了技术与健身结合的一个创新高潮。有氧吧（在本节中简称本作品）通过集成最新的计算机视觉和物联网技术，旨在重新定义私人健身教练的概念。本作品的核心功能植根于先进的人体关键点检测技术，能够精确追踪并分析用户的运动姿势，从而提供即时的运动指导、动作跟踪和姿势纠正。这种创新方法不仅提升了健身效率，其无可比拟的便携性也使用户得以在任何时间、任何地点利用碎片时间进行有效训练，完美契合现代生活的快节奏。
本作品的适用范围十分广泛，它不只是健身爱好者的专业动作指导工具，同时也推动了体育教育的进步，为学校的体育课程和体能测试提供了强有力的技术支撑。此外，它还为日常运动注入了趣味性，让健身更加引人入胜。
在技术层面上，本作品依托于海思的Hi3861和Hi3516。Hi3516负责神经网络的推理任务，涵盖关键点检测、动作识别、计数和评分，Hi3861则作为主控单元，通过串口与Hi3516通信，它不仅处理来自微信小程序端的用户数据，同时还处理来自Hi3516的识别结果和传感器数据，进一步将这些信息汇总并传送至微信小程序端供用户查看，同时上传至腾讯云服务器进行存储和进一步分析。
本作品采用MMPose的YOLOx-Pose关键点检测网络，并训练了Nano版本的模型。YOLOx-Pose是一款轻量级且能够实时进行关键点检测的网络。本作品结合了动作识别和实时反馈，极大地增强了用户体验。
在创新方面，本作品在多个维度上实现了飞跃，无论在产品便携性、动作识别效率，还是语音反馈的精准性上都表现优秀。此外，在网络技术的高效应用、实时性能保障，以及用户友好的交互界面设计上，本作品也取得了成功，并实现了YOLOx-Pose在海思平台的首次应用。
随着生活水平的提高，健身不再是少数人的选择，而是渐渐融入了更多人的日常生活。在这个大背景下，本作品紧扣着智慧健身这一主题，致力于开发一套基于姿态识别的动作追踪、评估与指导系统。
本作品旨在利用人工智能技术和物联网技术，为全民健身和智慧健身提供支持和引领。通过精确的姿态检测技术，本作品可以实时监测用户的运动姿态，仿佛每位用户身边都有一位随时待命的私人教练。本作品的背景分析如图1.3-1所示，同类产品分析如图1.3-2所示。
图1.3-1 作品背景分析
图1.3-2 同类产品分析
本作品是结合了人工智能与物联网的智慧健身解决方案，为每个人带来了随时可访问的健身专家，无论在何地何时，都能接受到专业级的指导。
本作品旨在为那些无法承担高昂私教费用却仍渴望得到专业指导的健身爱好者提供替代方案。在前期调研中，我们发现许多人都想在健身过程中寻求专业指导，但经常因经济因素而受限。因此，本作品的目标用户群是那些寻求经济实惠且质量可靠的健身指导的人群。本作品不仅适用于初次涉足健身领域的新手，也适用于希望提升技能水平的有经验健身者。
针对这些用户，本作品提供了除跑步之外的多种健身模式，能满足不同用户的需求和喜好。本作品的目标是通过精确的动作指导和实时反馈，帮助用户以科学和高效的方法实现健身目标，并减少不必要的经济支出。综合而言，本作品旨在提升健身效果的同时，使健身成为一种经济上可承受且适合现代生活方式的活动。
除了在健身领域，本作品也可在体育教育领域发挥重要作用。本作品可以被学校或团体活动使用，辅助学生在各项体能测试中进行训练和评估，从而扩展传统体育教育的范畴，使学生能够以更加有趣和高效的方式参与体育活动，提高教学效果和学生的参与度。
在娱乐领域，本作品提供了全新的运动体验。用户可以跟随本作品中视频进行锻炼，本作品可根据用户的动作表现进行评分，为运动增加了互动性、趣味性和挑战性。本作品引入了评分机制，可以鼓励用户以更有趣的方式参与锻炼。
（1）关键点检测网络。本作品采用了MMPose的YOLOx-Pose关键点检测网络，经过优化实现了轻量化，能够实时定位人体关键点。利用COCO数据集进行训练，YOLOx-Pose关键点检测网络能够识别17个主要关键点，提供了更加人性化的骨骼追踪。
（2）动作识别以及提示与计数。通过分析关键点检测结果，本作品可以计算用户动作与标准动作之间的差异，并实时提供矫正建议。此外，本作品还能自动识别用户的动作并进行计数，为用户带来智能化的健身体验。
（3）多传感器辅助分析。为了让用户对健身环境有更深入的了解，本作品整合了多种传感器，用来收集环境的温度和湿度信息。本作品还通过血氧饱和度传感器，测量用户运动后的心率和血氧饱和度，为用户提供全面的健身数据分析。
（4）增强的互联性。Hi3516与Hi3861之间通过串口通信互联，同时Hi3861通过Wi-Fi、使用用户数据报协议（User Datagram Protocol，UDP）与微信小程序连接。微信小程序的控制及数据展示功能，为用户提供了便利的操作方式。这种互联性的增强不仅让用户体验更加流畅，也提升了本作品的实用性。
本作品的主要性能指标如下：
（1）实时性。为满足即时指导用户的需求，本作品具有较高的实时性。经过优化的YOLOx-Pose关键点检测网络和动作识别算法确保了较高的计算速度和处理速度。经过实测，本作品的处理帧率为6 fps左右，满足了实时反馈的基本要求。
（2）精确性。本作品的重点是关注动作指导和计数功能的精确性。经过COCO数据集训练的关键点检测网络实现了轻量化，在验证集上的mAP（mean Average Precision）达到了0.457709，提供了精确的动作跟踪。
本作品的主要创新点如下：
（1）高效准确的动作识别。本作品为多种类型的健身动作设计了精确的计数规则，使得动作识别不仅高效而且准确。此外，针对不同的动作，本作品设计了特定的语音播报提示，增强了用户的交互体验，使得训练过程更为直观和友好。
（2）准确的语音提示。本作品能够实时检测用户的动作，并根据用户当前的动作状态给出适时的语音提示。这一功能不仅提高了动作执行的准确性，而且增强了用户的训练效果和安全性。
（3）关键点检测网络适配Hi3516。本作品选择了单阶段的YOLOx-Pose关键点检测网络，并对其进行了定制化改造，使其能够满足嵌入式设备的推理需求，并成功部署在Hi3516上。本作品使用的Nano版YOLOx-Pose关键点检测网络实现了快速且准确的推理，满足了高效性和准确性的双重要求，为用户提供了更加流畅和精确的健身体验。
本作品的设计流程如图1.3-3所示，包括了机械设计、软件设计，以及文档和视频制作，箭头表示了各环节之间的逻辑依赖关系。设计流程中的核心是软件设计，机械设计的主要目的是增强软件的性能，确保用户获得最佳体验。为了降低团队的学习曲线，将它们的开发分为两个独立的模块，从而提升整体工作效率。
本作品在Hi3516和Hi3861之间建立了明确的通信协议，这种分工合作的开发模式不仅加强了各模块的功能专注度，还提高了同步开发和测试的效率。在系统联调阶段，主要关注Hi3516和Hi3861之间的通信效果，以确保软/硬件的无缝融合，为用户提供流畅且高效的使用体验。这种高效协同的开发模式是本作品成功的关键之一。
图1.3-3 本作品设计流程
本作品的整体框架如图1.3-4所示，由三个主要部分构成：Taurus（Hi3516）、Pegasus（Hi3861）和微信小程序。微信小程序是本作品的枢纽，它不仅作为用户界面平台，通过Wi-Fi接收用户的输入指令，还将这些控制信号传递给Pegasus。Pegasus随后通过UART协议将这些数据转换成串口数据，并传输给Taurus。Taurus在此基础上启动相应的操作模式，进行关键点的动作分析，并提供相应的语音反馈。除此之外，Taurus还负责记录动作计数和运动评分，并将这些关键数据反馈至Pegasus。最终，Pegasus将这些信息以及通过各种传感器采集到的其他数据回传到微信小程序，由微信小程序完成数据的可视化展示和用户互动。
图1.3-4 整体框架
本作品的功能模块设计如图1.3-5所示，包括体验模式、无尽模式、坚持模式和娱乐模式。在体验模式中，本作品致力于为用户提供友好的入门体验，通过逐步报数的语音辅导来引导用户。在无尽模式中，本作品不会逐一指出错误，而是在完成一定数量的动作后，如10次或30次后，提供计数报告，并在达到预设目标时给予鼓励。坚持模式专注于静态动作的训练，如平板支撑，系统将记录持续时间，并实时给出动作矫正的建议，鼓励用户保持标准动作。在娱乐模式中，微信小程序将播放教练的示范视频，同时根据用户的跟练情况给出评分，这一模式极大地提高了锻炼的趣味性和互动性。
图1.3-5 本作品的功能模块设计
本作品以海思Hi3861为主控单元，Hi3516作为执行功能的核心，通过串口实现二者之间的数据传输。手机终端通过Wi-Fi与主控单元通信，实现指令的即时响应和数据的实时反馈。本作品的硬件架构如图1.3-6所示。
图1.3-6 本作品的硬件架构
在机械设计方面，本作品特别考虑了软件算法对硬件布局的需求，尤其是在进行人体关键点检测时对摄像头位置的精确要求。为了达到最优的识别效率，Taurus必须置于适当的高度。
在保持便携性的同时，本作品采纳了轻巧设计原则，并具备了足够的结构强度和稳定性。通过一个具有宽大接触面的3D打印底座，以及使用铝制支柱作为提升结构，本作品满足了设备轻盈与牢固的双重要求。本作品的顶部结构专为固定Hi3516和Hi3861而设计，并预留了放置移动电源位置。
在机械设计中，本作品精确量取了Hi3516和Hi3861接口的位置和尺寸，以确保完美匹配。考虑到整体的均衡性，移动电源和Hi3861被巧妙地布置在Hi3516的两侧。这样的设计不仅满足了软件算法的精细要求，也兼顾了本作品的便携性与稳固性，体现了综合性考量的成果。
本作品中Hi3516与Hi3861的连接方式为直接串口通信，全部电源需求通过移动电源提供，无须依赖其他复杂电路模块。这样的设计旨在提供最简洁有效的能量管理解决方案，确保本作品在稳定运行同时降低潜在的故障点。
本作品的软件架构由Taurus（Hi3516，推理端）、Pegasus（Hi3861，主控端），以及手机端组成。在软件系统架构中，Taurus负责图像获取、加速推理及动作识别，Pegasus负责管理整个流程，包括获取传感器数据、与微信小程序通信，以及与Taurus进行数据交换。
软件部分主要由Hi3861的主控程序和Hi3516的处理程序组成。Hi3516的处理流程如图1.3-7所示，采用多线程方式提升效率；Hi3861的处理流程如图1.3-8所示。
图1.3-7 Hi3516的处理流程
图1.3-8 Hi3861的处理流程
本作品使用YOLOx-Pose关键点检测网络，该网络的优势主要体现在两个方面：
（1）YOLOx-Pose是一种端到端的单阶段网络，其结构简洁高效。YOLOx-Pose在YOLOx的基础上进行了扩展，专注于姿态检测任务。YOLOx的解耦头输出如图1.3-9所示，YOLOx的目标检测输出头通过添加一个关键点信息输出头，可以在执行目标检测的同时有效地输出关键点信息。这种设计使YOLOx-Pose不仅能够处理复杂的姿态检测任务，还能保持网络结构的简洁性。
图1.3-9 YOLOx的解耦头输出
（2）YOLOx-Pose的推理速度非常快，这是其另一个显著优势。虽然与HRNet相比，YOLOx在精度上可能会有一定的损失，但它提供了更快的处理速度，特别适合嵌入式系统和实时检测任务。这种速度优势使得YOLOx-Pose在需要快速反应和高效处理的应用场景中表现出色，特别是在资源受限的环境下。
考虑到嵌入式设备的资源限制，需要对YOLOx-Pose进行轻量化处理。本作品将YOLOx-Pose转换为Nano版本。当前MMPose仅提供它的L、M、S、Tiny版本配置以及对应的预训练权重，本作品参考YOLOx官方关于Nano版本的参数配置，修改了YOLOx-Pose的参数。经过查阅资料，本作品的开发人员发现了在Hi3516上部署YOLO系列模型的问题，该系列模型不支持Focus结构的推理，所以需要修改成Conv卷积以适应Hi3516。经过以上修改，就可以正常进行训练了。
关于模型格式转换，本作品同时参考了海思提供的转换工具以及GitHub上的开源转换工具brocolli，最终选择brocolli作为模型转换工具。本作品使用的是COCO数据集，而非Taurus拍摄标注的自定义数据集，COCO数据集的图像格式是RGB，而非Taurus数据集的图像格式（YUV），因此在使用RuyiStudio进行模型量化、格式转换时不能选择YUV。YOLOx-Pose的模型格式转换过程如图1.3-10所示。
图1.3-10 YOLOx-Pose的模型格式转换过程
关于网络部署，本作品参考了海思官方的YOLOv3部署代码，将YOLOx-Pose部署到Hi3516上，并适当简化了应用场景，将一次图像处理得到的置信度最大的目标作为检测到的唯一结果，即考虑单阶段训练的情况。
在动作识别中，本作品通过计算关键关节角度作为判断的标准，根据关键关节角度进行动作的判断并进行计数。通过关键关节角度与预期动作的差值得到应该进行的提示，随后触发语音系统播报矫正信息。计数部分也借助了关键关节角度，通过双阈值设置了三个状态，通过状态的切换判断动作是否完成，完成则给计数器加1，并触发语音播报。
在娱乐模式中，鉴于嵌入式设备推理的速度，本作品提前将教练的带练视频在服务器上进行处理，得到了一个关键关节角度的序列，将这个序列静态存储在代码中，通过实时比对，进行打分。为了方便进行比对，本作品采用了时间对齐的计数方式，也就是在带练视频开始时启动一个计时器，将某个时刻检测到的数据与提前处理好的序列中对应时刻的数据进行比对，当误差较小时，认为达标，进行加分。本作品的评分随着用户的动作达标次数的增加而增加，最终在微信小程序端展现。
本作品实物的正面视图、斜45°视图和全景照片如图1.3-11所示。
图1.3-11 本作品实物的正面视图、斜45°视图和全景照片
（1）机械成果。本作品的机械部分可以从图1.3-11（c）所示的全景照片中看到，该照片展示了本作品的稳固性和实用性。
（2）电路成果。本作品无电路成果。
（3）软件成果。图1.3-12所示为用户在微信小程序端的操作逻辑和部分界面截图，涵盖了动作模式选择、具体动作选择及反馈界面，体现了本作品简洁直观的用户体验设计。
图1.3-12 用户在微信小程序端的操作逻辑和部分界面截图
图1.3-13所示为YOLOx-Pose的测试结果，本作品以可视化的方式展现了检测到的关键点。
在软件部分，本作品除了具有语音播报功能，还注重可视化部分的实现。图1.3-14所示为微信小程序的选择界面，该界面用户友好且易于操作。
图1.3-13 YOLOx-Pose的测试结果
图1.3-14 微信小程序的选择界面
图1.3-15所示为本作品的动作计数功能，本作品在手机端显示完成的达标动作次数，在Taurus屏幕以可视化形式显示关键点的检测结果。
图1.3-15 动作计数功能
图1.3-16所示为娱乐模式的反馈结果，其中手机端显示了用户的评分，Taurus屏幕以可视化的形式显示了关键点的检测结果。
图1.3-16 娱乐模式的反馈结果
（1）探索3D姿态检测技术。目前，本作品应用的2D关键点检测虽然有效，但存在局限性。引入3D姿态检测技术能够显著提升动作识别的精度和适应性。3D姿态检测技术可在空间维度捕获更多动作细节，提供更加精确和全面的动作反馈。
（2）外设模块扩展。引入更多外设模块，如NFC模块，可以让拥有NFC设备的用户更快地进入微信小程序，提供更便捷的体验。另外，增加倒计时播报等功能也可以提升用户体验，增加应用的吸引力和互动性。
（3）采用高效的多媒体传输协议。采用高效的多媒体传输协议可显著减少实时图像传输的延时，提高传输效率。这将优化实时动作指导和反馈的流畅度，增强整体用户体验。
（4）动作数据库的扩充。不断扩展动作数据库，为各类特定动作设定专门的评判标准。通过增加更多种类的健身动作，本作品能够更好地满足不同用户的需求，让用户有更多的选择，以适应他们的个性化健身计划。
（5）定制化健身功能。将用户身体情况的分析和用户体验纳入考虑范围，定制化健身功能将使用户获得更加个性化的健身指导和建议。根据用户的身体特点和需求，提供量身定制的健身计划，将更有助于改善用户的健康。
（6）云端数据存储和分析。将用户的健身图片或视频上传至云端，方便用户随时查看并分析自身动作的不足，从而更好地改进自己的健身动作。这将激励用户持续参与健身，并提高用户的自我管理能力。
通过在上述方向的不断探索和完善，本作品将持续提供更多功能，为用户提供更全面、个性化的健身体验，推动健康生活方式的普及和推广。
（1）网络部署初探。在本作品的设计初期，网络部署是主要挑战。在选择网络时，要充分考虑其适配性，确保网络能在开发板上高效运行。这就需要开发人员参考数据手册选择网络，确保所选的网络能够与硬件设备相匹配。
（2）动作判断实践。在动作判断方面，由于缺乏专业的动作判断参考资料，因此向体育老师等专业人士咨询，运用特征工程的设计来分析关键点存在的特征，从而使本作品能够准确计数并提供语音提示，确保用户得到正确的指导和反馈。
（3）重视内存管理。在编写代码时，要特别注意内存空间的使用。曾经在一次调试中，程序在运行时出现了报错，后来发现原因是在调用某个函数时分配了内存但未在释放内存，导致内存泄漏和程序崩溃退出。这为我们敲响了警钟，要更加重视内存管理，确保代码的稳定性和可靠性。
（4）注重UI设计。为了提升用户体验，本作品设计了简洁舒适的UI。在外观设计方面，本作品特别注重UI的美观性，以吸引更多用户参与体验。一个愉悦的UI可以提高用户的兴趣和留存率，进一步提升应用的吸引力。
（5）国产技术探索。这是我们团队第一次接触Hi3861和Hi3516，其中Hi3861内置了Wi-Fi功能，开发板的板载资源丰富，包括NFC、显示屏、串口等外设接口，还有丰富的外设扩展模块。相比于STM32开发板，Hi3861开发板的集成度较高，同时提供了多个通信接口和开发接口，使得开发者能够快速开发物联网应用。Hi3516集成了高性能NNIE引擎，以及H.265视频压缩编码器等，具有较高的推理速度，在低功耗方面的表现也让我们很惊喜。
（6）挑战、成长与感恩。在本作品的开发过程中，我们遇到了重重挑战。通过团队的不懈努力和持续创新，我们战胜了这些挑战。我们深信这款作品将引领用户走向更积极、更健康的生活方式。
参与此次比赛，不仅让我们深入洞察了人工智能和嵌入式系统的奥秘，也极大丰富了我们的调试技巧和团队协作能力。通过本作品的开发，我们对AIoT有了更深刻的理解，并为未来在科研和工程领域的探索打下了坚实的基础。
特别感谢组委会和海思公司提供的这次难得的比赛机会和大力支持。正是有了组委会的帮助和海思公司的赞助，并获得了必要的硬件资源，才能够开发有氧吧这一创新作品。
在开发本作品的每一个阶段中，我们都深受组委会和海思公司的鼓励和支持，这使得我们不断提升本作品的品质，为用户带来了更优质的健身指导和服务。我们会持续努力，紧密关注用户的需求和反馈，不断优化和发展本作品，为更多用户带来健康和快乐。
通过本作品的开发，我们不仅在技术上取得了飞跃，更在团队合作和解决问题能力方面得到了巨大锻炼。期待本作品走向更高的境界，为推广健康生活方式贡献我们的力量。
[1] Open MMLab.mmpose：An Open-Source Toolbox for Human Pose Estimation.GitHub Repository[CP/OL].（2023-04-12）.https://github.com/open-mmlab/mmpose/tree/main
[2] PaddlePaddle.PaddleDetection：Object Detection and Instance Segmentation Toolkit based on PaddlePaddle.[CP/OL].（2023-04-15）.https://github.com/PaddlePaddle/PaddleDetection
[3] HiSpark.HiSpark_NICU2023:A Repository for NICU2023 Project.[CP/OL].（2023-04-17）.https://gitee.com/HiSpark/HiSpark_NICU2023/tree/master
[4] 敬倩，陶青川.基于计算机视觉的仰卧起坐计数算法[J].现代计算机，2023，29（07）：71-72.
[5] 胡琼，秦磊，黄庆明.基于计算机视觉的仰卧起坐计数算法[J].计算机学报，2013，36（12）：2516-2516.
本作品基于海思Hi3516和Hi3861构建，采用MMPose的YOLOx-Pose关键点检测网络实现了关键点检测、动作识别、计数和评分等功能。本作品利用人工智能技术和物联网技术，对全民健身、智慧健身、私人定制化健身起到了积极的推动作用。本作品实现了创新和技术的结合，充分利用了AI硬件平台的能力。