姿态检测
gst-ai-pose-detection 对视频流逐帧执行人体姿态检测,在人体关键点之间绘制骨架连线。
使用 HRNet 模型。
前提条件
- 已完成 QIM SDK 安装 和 模型下载
步骤
1. 确认所需文件
radxa@airbox$
ls -l /etc/models/hrnet_pose_quantized.tflite
ls -l /etc/labels/hrnet_pose.json
ls -l /etc/labels/hrnet_settings.json
hrnet_settings.json定义人体关节之间的连接关系。缺少该文件会导致Invalid pose settings path错误。
2. 查看配置
radxa@airbox$
cat /etc/configs/config_pose.json
关键字段:
| 字段 | 默认值 | 说明 |
|---|---|---|
file-path | /etc/media/video.mp4 | 输入视频路径 |
ml-framework | tflite | 推理框架 |
model | /etc/models/hrnet_pose_quantized.tflite | 模型文件 |
labels | /etc/labels/hrnet_pose.json | 标签文件 |
pose-settings-path | /etc/labels/hrnet_settings.json | 关节连接配置 |
runtime | dsp | 推理硬件 |
3. 运行
radxa@airbox$
gst-ai-pose-detection --config-file=/etc/configs/config_pose.json
按 Ctrl + C 停止。
预期输出
终端输出:
Running app with model: /etc/models/hrnet_pose_quantized.tflite and labels: /etc/labels/hrnet_pose.json and settings /etc/labels/hrnet_settings.json
Using DSP Delegate
VERBOSE: Replacing 518 out of 518 node(s) with delegate (TfLiteQnnDelegate) node
Pipeline state changed from PAUSED to PLAYING
显示器上播放测试视频,人体关键点之间绘制骨架连线。
验证
Using DSP Delegate:推理在 NPU 上运行Replacing 518 out of 518 node(s):全部 518 个算子委派到 DSP- Pipeline 进入
PLAYING状态 - 显示器正确显示人体骨架
排障
Invalid pose settings path
确认 hrnet_settings.json 存在于 /etc/labels/:
radxa@airbox$
ls -l /etc/labels/hrnet_settings.json
如果缺失,重新运行下载脚本:
radxa@airbox$
sudo ./download_artifacts.sh -v GA1.6-rel -c QCS9075