RKNN 快速例子

提示

本文档旨在演示如何运行官方示例，更多资料请查看 RKNN Toolkit2 源码库 的 doc 目录。

PC 端 RKNN Toolkit

安装依赖

X86 Linux PC

sudo apt install git python-is-python3 python3-pip libxslt1-dev zlib1g-dev libglib2.0-dev libsm6 libgl1-mesa-glx libprotobuf-dev build-essential adb

拉取和安装 RKNN Toolkit2

X86 Linux PC

git clone -b v2.3.0 https://github.com/airockchip/rknn-toolkit2.git
cd rknn-toolkit2/rknn-toolkit2/packages/x86_64/
pip3 install -r requirements_cp38-2.3.0.txt
pip3 install ./rknn_toolkit2-2.3.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

运行 yolov5 例程

X86 Linux PC

cd rknn-toolkit2/examples/onnx/yolov5
python3 test.py

信息

转换模型和推理脚本 test.py 运行成功后，转换后的模型默认保存路径为 examples/onnx/yolov5/yolov5s_relu.rknn，推理的图片结果保存在 examples/onnx/yolov5/result.jpg

板子端 RKNN Toolkit

提示

RK356X 产品用户使用 NPU 前需要在终端使用 rsetup 开启 NPU: sudo rsetup -> Overlays -> Manage overlays -> Enable NPU，最后重启系统。

如 overlays 选项中无 Enable NPU 选项，请通过: sudo rsetup -> System -> System Update 升级系统, 重启后执行上述步骤开启 NPU。

安装 RKNN Toolkit Lite2 及依赖

信息

Radxa 官方镜像已默认安装 RKNN Toolkit Lite2 及其所需依赖，如无法运行可尝试以下命令。

Radxa OS

sudo apt update
sudo apt install rknpu2-rk3588 python3-rknnlite2    # SOC 为 RK3588 系列
sudo apt install rknpu2-rk356x python3-rknnlite2    # SOC 为 RK356X 系列

安装 RKNN Toolkit Lite2 例程

Radxa OS

sudo apt update
sudo apt install python3-rknnlite2-example

运行 Resnet18 示例

提示

RKNN Toolkit Lite2 主要用于 RKNN 模型在 Rockchip NPU 上的部署。 在使用 RKNN Toolkit Lite2 之前，我们需要先在 PC 端通过 RKNN Toolkit2 将各框架导出的模型转成 RKNN 模型。

Radxa OS

cd /usr/share/python3-rknnlite2/resnet18
python3 test.py

Results

--> Load RKNN model
done
--> Init runtime environment
I RKNN: [14:34:53.240] RKNN Runtime Information: librknnrt version: 1.5.2 (c6b7b351a@2023-08-23T15:28:22)
I RKNN: [14:34:53.242] RKNN Driver Information: version: 0.8.2
W RKNN: [14:34:53.242] Current driver version: 0.8.2, recommend to upgrade the driver to the new version: >= 0.8.8
I RKNN: [14:34:53.250] RKNN Model Information: version: 6, toolkit version: 1.5.2-source_code(compiler version: 1.5.2 (71720f3fc@2023-08-21T09:35:42)), target: RKNPU v2, target platform: rk3588, framework name: PyTorch, framework layout: NCHW, model inference type: static_shape
done
--> Running model
resnet18
-----TOP 5-----
[812]: 0.9996760487556458
[404]: 0.00024927023332566023
[657]: 1.449744013370946e-05
[466 833]: 9.023910024552606e-06
[466 833]: 9.023910024552606e-06

done

信息

执行该示例将加载 Resnet18 模型并进行推理，得到测试图片的 top5 分类结果。 在这里，类别 812 的概率最高，所以模型可能认为输入图像属于类别 812。 要了解类别 812 代表的是什么，我们需要查看模型训练时使用的数据集或标签，或者查找与该模型相关的文档或资源，以确定类别 812 的含义。 在这里类别 812 表示的应该是航天飞机。