文章目录[隐藏]

1、姿态识别项目

2、姿态估计模型选取

3、分类模型选取

4、姿态识别实验

1、姿态识别项目

需求：

自然场景实时检测人体的关键点位置并判断人体的动作。即fps>=30。

思路：

1、首先利用姿态估计模型判断关键点位置并保存关键点位置坐标

2、将关键点保存，并利用分类模型对其进行训练以分类

关键点：

由于要实时即终端部署，所以姿态估计以及分类模型均使用轻量级模型

2、姿态估计模型选取

1、movenet_lighting

2、movenet_thunder

3、posenet

4、UDP_pose

论文链接：Polarized Self-Attention: Towards High-quality Pixel-wise Regression | Papers With Code

GitHub链接：https://github.com/sithu31296/pose-estimation

3、分类模型选取

1、机器学习模型：SVM

2、机器学习模型：决策树

3、深度学习模型:MLP

4、姿态识别实验

4.1 姿态估计实验

(1) 使用官方movenet_lighting.tflite进行推理测试，其对于深蹲以及连不遮挡等图片识别效果较差。其在cpu上推理速度为22ms

(2)使用官方movenet_thunder.tflite进行推理测试，其结果于(1)效果好一些。但针对于深蹲动作识别效果不好，且其对于方向和角度识别较差。其在cpu推理时间为58ms。

(3)使用posenet进行测试,posenet对于干净背景关键点检测结果相对于movenet要好。但是其对于复杂背景（即人体与背景对比度不是很大时），其会出现无法精准识别人体的情况。如下图所示：

其中，绿色远点为posenet标注结果，红色为movenet_lighting标注结果。

(4)使用UDP_pose进行测试，其属于bottom-up姿态识别模型，即首先检测出人的位置，然后针对人体所在位置范围进行关键点检测。其中人体检测部分模型使用的是YOLO v5。其效果针对深蹲，脸部遮挡以及复杂背景检测效果均非常好。但将yolo v5转换为onnx模型在cpu上推理时间为258ms,无法实时。

4.2 姿态识别实验

4.1中的姿态估计估计模型将17个关键点坐标保存为npy文件作为分类模型的输入。针对4.1中的所有姿态估计模型均使用MLP进行分类吧并进行预测。其中，movenet_lightening的准确率可以达到0.9987，UDP_pose模型的准确率为1。最后将MLP的keras模型转化为tflite,其在cpu上推理时间为0.01ms。