野火【鲁班猫】卡片创意氛围赛（第二期)+基于鲁班猫的幼...

wuboy19

【鲁班猫创意大赛2期】基于鲁班猫1的幼儿Al监督系统


作品介绍

本作品名称为“基于鲁班猫1的幼儿 Al 监督系统”（系统总体框图如下图），作品应用群体为幼儿群体，主要功能：通过实时坐姿检测，防止坐姿不端正导致的身体问题，进行语音播报，来提醒儿童时刻端正坐姿，不仅有利于儿童青少年的眼部与书本保持适当距离防止近视，而且有利于儿童青少年能够保持身板，拒绝驼背；在疲劳学习方面，在作品里我们设置通过检测眼部闭合频率和打哈欠的频率，进行语音播报来提醒用户注意休息，不仅有利于缓解疲劳，而且能提高儿童青少年的学习效率，从而实现防疲劳学习，在学习辅导上，还具有算术计算，锻炼幼儿计算能力，能够通过语音控制台灯开关，并上传作业打卡到onenet云平台，家长可以在上面看到记录。



技术方案总体设计方案

• 1、设计作品整体结构，完成各个功能部分的规划。
• 2、SU-03T 硬件电路的设计和 PCB 的绘制，实现语音识别和语音 TTS 输出。
• 3、Ubuntu20.04 搭建在鲁班猫1上，并进行 python3.7 和 opencv 环境的安装。
• 4、USB 摄像头画面的实时获取，获取到人脸图像然后进行处理，采集人脸的特征点。
• 5、鲁班猫1对于四则运算的逻辑处理，最终达到可以互动计算效果。
• 6、鲁班猫1能够http上传打开图片到onenet云平台进行记录。
  

基于横纵比计算的学习疲劳检测算法

以鲁班猫1为主控，通过 USB 实时采集摄像头的图像，将图像进行变成320240 进行灰度化处理，由于鲁班猫运行内存只有4G，减少图像处理信息量，提高帧数，我们才把图像变成 320240 进行处理，保证识别的准确度，算法流程图如下。模型采用的是开源模型 shape_predictor_68_face_landmarks.dat，通过 dlib 工具找到 68 个人脸关键点（如下图）。在定位人眼之前先检测并定位出人脸，然后在人脸区域范围内进行人眼的检测和定位，这样可以有效减少算法在图像内搜索像素的面积 ，且可排除 图像内的类人眼物体 。然后通过下图公式 提取左眼和右眼的坐标计算左右眼的 EAR 值，使用左右眼横纵比相加后的平均值作为眼睛的 EAR 值，同时得到嘴巴的 EAR 值，将其与所设置的阈值进行对比，当计数值达到所设值时，语音提醒来提醒幼儿看窗外保护视力，算法流程图如下图。












基于姿态角的坐姿检测算法
通过基于 Dlib 和 OpenCV 的人脸姿态估计：2D 人脸关键点检测； 3D 人脸模型匹配； 求解出 3D 点和对应 2D 点的转换关系；根据旋转矩阵求解姿态角。人脸姿态信息用三个姿态角（pitch，yaw，roll）表示（如下图），定义一个6 关键点的 3D 脸部模型（左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌），然后采用 Dlib 检测出图片中对应的 6 个脸部关键点，采用 OpenCV 的 solvePnP函数解出旋转向量，最后将旋转向量转换为姿态角
在 3D 空间中，表示物体的旋转可以由三个姿态角来表示： pitch 围绕 X 轴旋转，叫俯仰角。 yaw 围绕 Y 轴旋转，叫偏航角。 roll 围绕 Z 轴旋转，叫翻滚角。根据实验得到当 pitch>10.0 时表现的是坐姿不端正，这时候语音提醒幼儿端
正坐姿，养成良好的习惯。


语音模块的选择

语音识别使用的是 SU-03T，利用的是智能公元平台（如图 7），支持语音唤醒和离线语音识别，在平台上设置引脚模式，指令的编写，生成 SDK 和固件，通过串口下载到 SU-03T 中。可以通过语音助手进行简单的聊天互动来提高幼儿的学习兴趣。






云平台选中
因为onenet云平台免费，而且上传文件可以有1000个所以选择，主要看个人喜好，上传图片为野火书包。




实现

视频链接：https://www.bilibili.com/video/B ... d7d05331087929c7739


致谢

感谢野火提供的这次机会，感谢野火科技的工作人员，老板，感谢大师姐、小师妹、火哥、以及提供帮助的野火技术大哥，祝野火越来越好

代码：

代码.zip (1015.36 KB, 下载次数: 33)

2023-11-28 13:21 上传

点击文件名下载附件
代码

おおおじ。

真不错   

wuboy19

おおおじ。 发表于 2023-11-29 09:20
真不错

谢谢，十分感谢，谢谢夸奖