YOLOv8 Seg
本文档讲述如何在 NPU 上运行 YOLOv8 Seg。
信息
参考 Model Zoo 下载获取示例。
YOLOv8 Seg 示例目录结构：
$ tree ./
./
├── CMakeLists.txt
├── convert_model
│ ├── config_yml.py
│ ├── convert_model_env.sh
│ ├── python
│ │ ├── onnx_extract.py
│ │ └── yolov8s-seg_640.txt
│ └── yolov8s-seg_10.txt
├── figures
│ ├── diff_img.png
│ └── out_yolov8_seg.png
├── main.cpp
├── model
│ ├── bus.jpg
│ └── dog.jpg
├── model_config.h
├── README.md
├── yolov8_seg_10_post.cpp
└── yolov8_seg_10_pre.cpp
模型转换
配置虚拟环境
X86 Linux PC
python -m venv .venv && source .venv/bin/activate
pip install ultralytics onnxsim
导出 onnx 模型
X86 Linux PC
cd convert_model/python/
yolo export model=yolov8s-seg.pt format=onnx dynamic=True opset=11
固定 shape
X86 Linux PC
python3 -m onnxsim yolov8s-seg.onnx yolov8s-seg_640.onnx --input-shape=1,3,640,640
裁剪模型
X86 Linux PC
python3 onnx_extract.py
cd ..
创建转换脚本的软链接
X86 Linux PC
./convert_model_env.sh
模型导入/量化/转换
需要先进入容器开发环境。可以参考 Model Zoo 下载中创建容器这一部分。
信息
不同平台请使用对应的 Docker 镜像：
- A733：ubuntu-npu:v2.0.10.1
- T527：ubuntu-npu:v1.8.11
X86 Linux PC
docker exec -it model-zoo /bin/bash
进入容器对应目录之后运行脚本。
X86 Linux PC
cd /workspace/examples/yolov8_seg/convert_model/
X86 Linux PC
./pegasus_import.sh yolov8s-seg_10
./pegasus_quantize.sh yolov8s-seg_10 uint8 12
- A733
- T527
X86 Linux PC
./pegasus_export_ovx_nbg.sh yolov8s-seg_10 uint8 a733
X86 Linux PC
./pegasus_export_ovx_nbg.sh yolov8s-seg_10 uint8 t527
导出的模型文件存放在../model目录。
编译示例
接下来可以编译示例，先 exit 退出容器，然后执行下面的命令编译示例。
首先需要配置第三方库和交叉编译工具链。
信息
如果你已经在其他示例中配置过第三方库和交叉编译工具链则可以跳过这一步。
X86 Linux PC
cd ../../../3rdparty/opencv/
unzip opencv-4.9.0-aarch64-linux-sunxi-glibc.zip
cd ../../0-toolchains/
需要先手动点击链接下载之后放到 0-toolchains/ 再执行下面的命令：
X86 Linux PC
tar -xvf gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu.tar.xz
X86 Linux PC
cd ../examples/yolov8_seg/
- A733
- T527
X86 Linux PC
../build_linux.sh -t a733 -s debian11
X86 Linux PC
../build_linux.sh -t t527 -s debian11
模型部署
编译示例完成之后，示例会安装到 install 目录，可以使用 scp 传输到板端。
配置 NPU 驱动
信息
如果你已经在其他示例中配置过 NPU 驱动则可以跳过这一步。
将驱动库 scp 传输到板端的 lib 目录。
- A733 对应 common/lib_linux_aarch64/A733 目录
- T527 对应 common/lib_linux_aarch64/T527 目录
然后执行下面的命令导出到环境变量。
Radxa SBC
echo 'export LD_LIBRARY_PATH=$HOME/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
运行示例
配置好驱动之后就可以运行示例了。
提示
对于 T527 平台，你还需要参考 A5E 的板端启用 NPU文档先启用 NPU ，然后使用下面的命令增加当前用户使用 /dev/vipcore 的权限。
Radxa SBC
sudo chmod 777 /dev/vipcore
- A733
- T527
Radxa SBC
cd yolov8_seg_demo_linux_a733/
Radxa SBC
chmod +x ./yolov8_seg_demo_a733
./yolov8_seg_demo_a733 -nb model/yolov8s-seg_10_uint8_a733.nb -i model/dog.jpg
运行结果如下：
$ ./yolov8_seg_demo_a733 -nb model/yolov8s-seg_10_uint8_a733.nb -i model/dog.jpg
model_file=model/yolov8s-seg_10_uint8_a733.nb, input=model/dog.jpg, loop_count=1, malloc_mbyte=10
VIPLite driver software version 2.0.3.2-AW-2024-08-30
input 0 dim 3 640 640 1, data_format=2, quant_format=0, name=input/output[0], none-quant
output 0 dim 80 80 64 1, data_format=0, name=uid_19_out_0b_uid_1_out_0, none-quant
output 1 dim 80 80 80 1, data_format=0, name=uid_18_out_0b_uid_1_out_0, none-quant
output 2 dim 80 80 32 1, data_format=0, name=uid_17_out_0b_uid_1_out_0, none-quant
output 3 dim 40 40 64 1, data_format=0, name=uid_16_out_0b_uid_1_out_0, none-quant
output 4 dim 40 40 80 1, data_format=0, name=uid_15_out_0b_uid_1_out_0, none-quant
output 5 dim 40 40 32 1, data_format=0, name=uid_14_out_0b_uid_1_out_0, none-quant
output 6 dim 20 20 64 1, data_format=0, name=uid_13_out_0b_uid_1_out_0, none-quant
output 7 dim 20 20 80 1, data_format=0, name=uid_12_out_0b_uid_1_out_0, none-quant
output 8 dim 20 20 32 1, data_format=0, name=uid_11_out_0b_uid_1_out_0, none-quant
output 9 dim 160 160 32 1, data_format=0, name=uid_20009_sub_uid_1_out_0, none-quant
nbg name=model/yolov8s-seg_10_uint8_a733.nb, size: 8089336.
create network 0: 21684 us.
prepare network: 4881 us.
buffer ptr: 0x127ba600, buffer size: 1228800
network: 0, loop count: 1
run time for this network 0: 38144 us.
output 0, ptr 0x128e6780, size 409600.
output 1, ptr 0x12a76800, size 512000.
output 2, ptr 0x12c6a880, size 204800.
output 3, ptr 0x12d32900, size 102400.
output 4, ptr 0x12d969c0, size 128000.
output 5, ptr 0x12e13a40, size 51200.
output 6, ptr 0x12e45ac0, size 25600.
output 7, ptr 0x12e5eb40, size 32000.
output 8, ptr 0x12e7e000, size 12800.
output 9, ptr 0x12e8a880, size 819200.
post process time : 12 ms
detection num: 3
1: 89%, [ 126, 133, 568, 425], bicycle
16: 96%, [ 131, 220, 310, 541], dog
7: 65%, [ 470, 73, 688, 171], truck
destroy npu finished.
~NpuUint.
此性能数据仅计算模型推理的时间消耗。如无特别说明，不包含预处理和后处理的时间消耗。
| SoC | NPU | 模型 | 输入分辨率 | 网络创建耗时 | 网络准备耗时 | 单帧推理耗时 | 后处理耗时 | 总耗时 | 帧率 |
|---|---|---|---|---|---|---|---|---|---|
| 全志 A733 | Vivante VIP9000 | yolov8s-seg | 640×640 | 21.7 ms | 4.9 ms | 38.1 ms | 12 ms | 76.7 ms | 26.2 FPS |
Radxa SBC
cd yolov8_seg_demo_linux_t527/
Radxa SBC
chmod +x ./yolov8_seg_demo_t527
./yolov8_seg_demo_t527 -nb model/yolov8s-seg_10_uint8_t527.nb -i model/dog.jpg
运行结果如下：
$ ./yolov8_seg_demo_t527 -nb model/yolov8s-seg_10_uint8_t527.nb -i model/dog.jpg
model_file=model/yolov8s-seg_10_uint8_t527.nb, input=model/dog.jpg, loop_count=1, malloc_mbyte=10
VIPLite driver software version 1.13.0.0-AW-2023-10-19
input 0 dim 3 640 640 1, data_format=2, quant_format=0, name=input[0], none-quant
output 0 dim 80 80 64 1, data_format=0, name=uid_20000_sub_uid_1_out_0, none-quant
output 1 dim 80 80 80 1, data_format=0, name=uid_20001_sub_uid_1_out_0, none-quant
output 2 dim 80 80 32 1, data_format=0, name=uid_20002_sub_uid_1_out_0, none-quant
output 3 dim 40 40 64 1, data_format=0, name=uid_20003_sub_uid_1_out_0, none-quant
output 4 dim 40 40 80 1, data_format=0, name=uid_20004_sub_uid_1_out_0, none-quant
output 5 dim 40 40 32 1, data_format=0, name=uid_20005_sub_uid_1_out_0, none-quant
output 6 dim 20 20 64 1, data_format=0, name=uid_20006_sub_uid_1_out_0, none-quant
output 7 dim 20 20 80 1, data_format=0, name=uid_20007_sub_uid_1_out_0, none-quant
output 8 dim 20 20 32 1, data_format=0, name=uid_20008_sub_uid_1_out_0, none-quant
output 9 dim 160 160 32 1, data_format=0, name=uid_20009_sub_uid_1_out_0, none-quant
nbg name=model/yolov8s-seg_10_uint8_t527.nb, size: 11076992.
create network 0: 34337 us.
prepare network: 22250 us.
buffer ptr: 0x10312600, buffer size: 1228800
network: 0, loop count: 1
run time for this network 0: 88575 us.
output 0, ptr 0x1043e740, size 409600.
output 1, ptr 0x105ce7c0, size 512000.
output 2, ptr 0x107c2880, size 204800.
output 3, ptr 0x1088a900, size 102400.
output 4, ptr 0x108ee980, size 128000.
output 5, ptr 0x1096ba00, size 51200.
output 6, ptr 0x1099dac0, size 25600.
output 7, ptr 0x109b6b40, size 32000.
output 8, ptr 0x109d5fc0, size 12800.
output 9, ptr 0x109e2840, size 819200.
post process time : 54 ms
detection num: 3
1: 89%, [ 126, 133, 568, 426], bicycle
16: 95%, [ 131, 220, 310, 541], dog
7: 66%, [ 470, 73, 688, 170], truck
destroy npu finished.
~NpuUint.
此性能数据仅计算模型推理的时间消耗。如无特别说明，不包含预处理和后处理的时间消耗。
| SoC | NPU | 模型 | 输入分辨率 | 网络创建耗时 | 网络准备耗时 | 单帧推理耗时 | 后处理耗时 | 总耗时 | 帧率 |
|---|---|---|---|---|---|---|---|---|---|
| 全志 T527 | Vivante VIP9000 | yolov8s-seg | 640×640 | 34.3 ms | 22.3 ms | 88.6 ms | 54.0 ms | 199.2 ms | 11.3 FPS |