下载掌阅APP，畅读海量书库
立即打开
学校名称：东南大学
团队成员：金东涛、曹思宇、李奥
指导老师：黄永明
摘要
当今时代，在大、中、小学的课堂中，由于学生数量众多，传统的课堂点名签到方式耗时费力，课堂中老师也难以全面观察到每位学生的学习状态。通过对现状的深入调研，我们得出结论：开发一款集成学生课堂打卡功能与专注度分析功能的教学智能管理辅助装置（在本节中简称本作品）是迫切需要的。
本作品旨在探讨以人脸识别为核心技术的教学管理辅助系统。针对传统教学管理存在的一系列问题，我们进行了改进，引入了人脸识别技术和活体检测技术，实现了学生的动态签到和课堂专注度分析等功能。实验结果表明，本作品取得了较为优异的效果，具有一定的实用性和推广价值。
（1）动态签到功能：采用YOLOv2模型进行目标检测。该模型通过准确识别图像中的目标物体，为我们提供了强大的人脸检测能力。另外，为了解决非活体目标注册的问题，本作品引入了基于MiniFASNet模型的活体检测，该模型可确保只有真实活体才能成功注册。在此基础上，本作品融入了动态签到功能，这个功能实现了基于视觉的自动签到系统，可以在所有学生看向摄像头的瞬间完成签到，大大提高了签到效率，也避免了错签、代签等问题。
（2）专注度评价功能：用Dlib库对人脸进行特征提取，使用AlphaPose进行人体姿态估计，以进行表情分析和行为分析，计算出学生表情、动作及头部姿态三个维度的得分，并通过模糊综合计算得出综合专注度得分。根据课堂评价专注度评分，老师会收到相应的评价反馈。
（3）微信小程序：为了更好地展示成果，本作品还设计并开发了一个微信小程序，该应用具备实时获取动态签到信息和参与者专注度数据的功能。所有这些数据都会上传至云端，便于随时查看和进一步的分析。
这一创新性装置不仅在提高教学管理效率方面具备显著优势，同时为教育者提供了更全面、精准的学生学习状态数据，有助于个性化教学和教学质量提升。总体而言，本作品可满足当前教育的需求，也为未来教育技术的发展开辟了新的可能性。
本作品旨在研究以人脸识别为核心技术的教学管理辅助系统。针对传统教学管理存在的一系列问题，如课堂反馈不及时、老师或家长监管不全面等问题，提出了一种基于深度学习的解决方案，设计并实现了一款智能教室辅助管理系统。
功能1：动态签到功能。采用YOLOv2实现人脸检测；另外，为了解决非活体目标注册的问题，引入了基于MiniFASNet模型的活体检测，确保只有真实活体才能成功注册。在此基础上，本作品实现了动态签到功能，可以在所有学生看向摄像头的瞬间完成签到，大大提高了签到效率，也避免了错签、代签等问题。
功能2：专注度分析功能。通过实时的人脸特征点提取与解算、人体姿态估计，进行表情分析和行为分析，计算出学生表情、动作及头部姿态三个维度的得分，并通过模糊综合计算得出综合专注度得分。
功能3：微信小程序。设计并开发微信小程序，实时获取动态签到信息和参与者的专注度数据，供老师或家长随时查看和进一步的分析。
（1）教育行业：本作品在教育领域的应用范围广泛。首先，它能够针对教室人员众多情况，通过人脸识别技术实现学生的动态签到，弥补传统考勤方式的不足。其次，它还具备专注度分析的功能，使老师能够实时观察到学生的学习状态，为个性化教学提供数据支持，进一步提高教学质量。
（2）服务行业：本作品为家庭提供了一种个体化监督与陪伴的方式，解决了家长因忙碌而无法实时监督孩子学习的问题。家长可以远程监督孩子在家中的学习状态，可以更全面地了解孩子的学业进展，及时介入并提供支持，从而提升孩子的学习效果。
（3）企业打卡系统：在企业环境中，本作品不仅能够实现人脸注册，还支持多人同时无接触打卡签到，为企业提供了高效、便捷的签到系统，避免了传统签到系统的烦琐流程，不仅可以提升签到效率，还可以为企业管理提供准确的考勤数据。
（1）基于MiniFASNet模型的活体检测。MiniFASNet是一款轻量级的人脸识别模型，专用于实现人脸识别任务。本作品基于MiniFASNet模型实现了活体检测，确保注册时的活体验证，提高了系统的安全性和准确性。
（2）基于Dlib库的人体学习专注度分析。本作品借助Dlib库的相关接口，实现了人脸特征点提取；借助AlphaPose进行人体姿态估计，并利用数学方法进行表情分析和人体姿态解算，最终确定学生的专注度。
（3）基于海思Hi3861的人脸检测。为了实现高实时性的人脸检测，本作品采用海思Hi3861智能主控板，该主控板集成了先进的YOLOv2人脸检测算法，可对多人同时进行实时的无缝检测，提高了实用性和效率。
（4）基于海思Hi3516的腾讯云通信。在数据传输方面，本作品通过串口将Hi3861的数据传送到Hi3516，通过握手应答机制保障传输的准确性。同时，为了实现签到信息和课堂专注度信息的实时展示，采用海思Hi3516与腾讯云通信，利用MQTT协议实现板端与腾讯云的数据交互，通过HTTP协议实现腾讯云与微信小程序之间的通信，确保数据在各个环节的快速、安全传输。
本作品的主要性能指标如表1.1-1所示。
表1.1-1 本作品的主要性能指标
续表
（1）多人同时打卡：在打卡功能方面，引入了深度学习方法中的人脸识别技术，实现了一次性对多人进行人脸检测并完成打卡操作。
（2）防作弊功能：引入了静默活体检测技术，能够有效检测非活体目标，从而提高打卡系统的安全性。
（3）专注度分析功能：获得了人体学习专注度数据，不仅为教学管理提供了科学依据，同时也为学生学习状态的个性化关注提供了支持。
本作品的设计流程如图1.1-1所示。
图1.1-1 本作品的设计流程
本作品的整体框架如图1.1-2所示。
从硬件组成来看，本作品可分为人脸检测识别和活体检测模块、数据传输模块，可以采集多个进程的数据，并最终传输到云端（腾讯云）。
（1）人脸检测识别和活体检测模块：采用Hi3516，通过摄像头采集图像，并对实时拍摄的图像进行人脸检测识别，可以实现多张人脸同时签到，在签到的过程中会进行活体检测。
（2）数据传输模块：采用Hi3861，通过串口接收Hi3516的处理结果（如签到情况、专注度分析等），然后通过手机热点与腾讯云建立MQTT连接，实现了数据的实时传输与实时呈现。
图1.1-2 教学智慧管理辅助装置的整体框架
本作品的云端和Hi3516通过TCP协议通信，实现协同工作，共同完成人脸检测识别和活体检测功能，并通过串口向Hi3861传输检测结果。同时Hi3516还可以通过MQTT连接将检测结果以话题的形式发布到腾讯云。微信小程序可订阅相关话题，接收并实时显示检测结果。数据传输示意图如图1.1-3所示。
图1.1-3 数据传输示意图
首先，Hi3516使用YOLOv2模型（神经网络模型，该模型的数据集来源是公开的WiderFace数据集）将YOLOv2模型转化为Caffe模型，并将Caffe模型量化成可以在开发板上运行的wk文件；其次，Hi3516将检测后的图像传递到云端，在云端注册时要进行活体检测，当检测到为非活体时无法进行注册，当检测到为活体时，如果人脸在边界框正中心，且人脸正对着边界框，则注册条会前进，反之则回退。当注册进度完成（注册条满）时，可输入注册人员信息。在注册人员信息与数据库中信息不冲突时，可将注册人员信息添加到数据库中。
在进行动态打卡时，Hi3516会不断检测图像，并对图像中每一张人脸进行人脸特征编码（借助于Dlib库的API函数接口），然后将每个特征编码与数据库中已有的特征编码进行对比，计算各个特征编码之间的欧氏距离。欧氏距离表示不同特征编码相匹配的概率，如果概率大于60%，则认为是同一个人，此时这个人会成功签到，并将签到信息发送到Hi3861，再由Hi386发送到腾讯云，最终通过微信小程序实时显示打卡信息。
软件系统的流程如图1.1-4所示。
图1.1-4 软件系统的流程
在进行专注度评分时，首先进行人脸检测，利用Dlib库提取人脸的68个固定位置的特征点（见图1.1-5），并通过这些特征点计算面部表情。接着，利用神经网络提取人体关键点，并通过人体关键点的欧拉角分析人体行为，从而解算出人体头部姿态。最后，通过模糊综合分析这些内容来计算人体的专注度，并将专注度信息发送给Hi3861，由Hi3861发送到腾讯云，最终传递给微信小程序，由微信小程序实时显示专注度信息。
图1.1-5 人脸的68个固定位置的特征点
Hi3861连接手机热点后，建立与腾讯云的MQTT连接，通过结构体profilereported将数据转换为CJSON格式后发送至腾讯云端，微信小程序端借助HTTP链接获取相应的结构体数据，并对CJSON数据进行解析，根据数据格式判断数据是动态签到信息还是专注度信息，根据判断的结果将数据显示在微信小程序的对应界面，供老师或者家长实时查看。
图1.1-6为本作品的整体图。
图1.1-6 本作品的整体图
（1）机械成果如图1.1-7所示。
图1.1-7 机械成果
（2）软件界面如图1.1-8所示。
图1.1-8 软件界面
图1.1-7和图1.1-8所示为本作品的基本成果。从图中可以看出，本作品可实时显示采集图像，在人脸上打框识别，并在微信小程序上呈现签到打卡情况。
当摄像头采集的图像是非活体图像时，本作品会提示假脸无法注册，如图1.1-9所示。
图1.1-9 提示假脸无法注册
由于本作品需要不断地传输专注度信息，而串口的收发两端（Hi3861与Hi3516）在不进行双方握手的情况下，会导致接收端与发送端出现差错，出现信息丢失或者接收端一次性接收发送端堆积在传输通道内的多条信息，因此在收发专注度信息时，设置了握手机制，使得发送端发送的数据若被接收端及时接收，则将该信息丢弃，并且Hi3516在接收到Hi3861发送的信息后，向发送端发送确认信号，发送端才能发送下一条信息。这样的代价是，会使接收端接收到的信息存在丢失的可能。
（1）通信效果需要改善。串口通信的效果较差，可以采用更高级的通信协议（如RS-485、CAN总线等）来更好地处理数据丢失与堵塞问题。
（2）专注度评判精度方面有待进一步优化。在专注度分析方面，由于摄像头本身存在一定畸变，且内外参数未知，虽然可以通过神经网络很好地找到人脸特征点和人体关键点，但将其向现实世界转换时，会导致一定的误差，人脸表情和人脸朝向等的计算存在一定误差，使得最后的模糊综合分析评分会出现随机性不稳定的情况或者与实际不符的情况，在专注度评判精度方面有待进一步优化。（3）算力有限。本作品所用的开发板支持的网络类型和算力有限，导致许多库在此环境下无法编译，因此除了人脸检测功能，其他的人工智能功能需要在云端实现，不能形成完整的嵌入式产品，希望以后能完全在开发板端实现这些功能。
（4）功能拓展。本作品还可以开发其他功能，如考试作弊监测、老师与学生互动度评分等，使本作品成为一个功能更为全面、更加符合市场需求的智能陪伴教育辅助系统。
参与嵌入式设计竞赛是一次令人难忘的宝贵经历。在此次比赛中，本作品使用Hi3516和Hi3861两款芯片的开发板，并利用TCP协议和MQTT协议实现了开发板与云端的互联。本作品的主要技术方向涵盖了人脸识别、表情分析和姿态解算等领域。
首先，本作品采用了YOLOv2模型，该模型通过准确识别图像中的目标物体，为我们提供了强大的目标检测能力。其次，为了解决非活体目标注册的问题，本作品引入了MiniFASNet模型，该模型可确保只有活体才能成功注册。
本作品融入了动态签到功能，该功能利用人脸识别技术实现了自动签到系统。同时，本作品还结合人工智能技术对人脸特征点进行了提取，以进行更具深度的表情分析和行为分析，并得出参与者的专注度得分。
为了更好地展示成果，本作品开发了微信小程序。该微信小程序具备实时获取动态签到信息和参与者专注度信息的功能。所有这些数据都会上传到云端，便于随时查看和进一步的分析。
通过此次竞赛，团队不仅将各项技术应用到本作品，更重要的是学会了如何有机地融合这些技术，构建一个完整的嵌入式系统，深刻体会到了真实应用中所面临的挑战，并锻炼了解决问题的能力。
总之，参与此次竞赛是一次难得的学习机会，不仅可以提升技术水平，更培养了团队合作精神、解决问题能力和创新能力。这次宝贵的参赛经验将对我们今后的学习和职业发展产生积极的影响。
[1] 郭志强.面向智慧教室的嵌入式控制系统设计与实现[D].武汉：华中师范大学，2016.
[2] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection[C].2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas，NV，USA，2016∶779-788.
本作品基于海思的Hi3516和Hi3861，引入了人脸识别技术和活体检测技术，集成了学生课堂打卡功能与专注度分析功能。本作品在满足当前教育需求的同时，为未来教育技术的发展开辟了新的可能性，具有很强的应用场景价值。