手写数字分类模型：LeNet

提示

本文档旨在演示如何在 Allwinner T527/A733 系列芯片上运行板端推理 LeNet 手写数字分类模型。

主板部署 LeNet 需要两个步骤

PC 端利用 ACUITY Toolkit 将不同框架下的模型转换成 NBG 格式模型
板端利用 awnn API 板端推理模型

下载 ai-sdk 示例仓库

X86 PC / Device

git clone https://github.com/ZIFENG278/ai-sdk.git

PC 端模型转换

提示

Radxa 已提供预转换好的 lenet.nb 模型，用户可直接参考 板端推理 LeNet 跳过 PC 端模型转换章节

提示

LeNet 示例所使用的文件已经包含在ai-sdk 示例仓库的 models/lenet 中

进入 ACUITY Toolkit Docker 容器

ACUTIY Toolkit Docker 环境准备请参考 ACUITY Toolkit 环境配置

配置环境变量
X86 Linux PC
cd ai-sdk/models source env.sh v3 #NPU_VERSION
A733 选择 v3, T527 选择 v2

提示
NPU 版本选择请参考 NPU 版本对照表
进入 lenet 模型目录
X86 Linux PC
cd ai-sdk/models/lenet

制作量化校准集合

使用适量图片做量化校准集合，量化图片以图片路经形式保存在 dataset.txt

X86 Linux PC

vim dataset.txt

./input_image/6.jpg 6
./input_image/1.jpg 1
./input_image/2.jpg 2
./input_image/5.jpg 5
./input_image/3.jpg 3
./input_image/4.jpg 4
./input_image/8.jpg 8
./input_image/7.jpg 7
./input_image/0.jpg 0
./input_image/9.jpg 9

目录包含文件

.
|-- channel_mean_value.txt
|-- dataset.txt
|-- input_image
|   |-- 0.jpg
|   |-- 1.jpg
|   |-- 2.jpg
|   |-- 3.jpg
|   |-- 4.jpg
|   |-- 5.jpg
|   |-- 6.jpg
|   |-- 7.jpg
|   |-- 8.jpg
|   `-- 9.jpg
|-- lenet.caffemodel
`-- lenet.prototxt

解析模型

提示
pegasus 脚本在 ai-sdk/scripts 中，可复制到 models 目录中

使用 pegasus_import.sh 将模型解析为 IR 中见表达式，会得到 lenet.json 包含模型结构和 lenet.data 包含模型权重
X86 Linux PC
./pegasus_import.sh lenet/

修改 lenet_inputmeta.yml 文件

这里修改 scale 值，根据公式 scale = 1 / std

scale = 1 / 255
scale = 0.00392157

input_meta:
  databases:
  - path: dataset.txt
    type: TEXT
    ports:
    - lid: input_0
      category: image
      dtype: float32
      sparse: false
      tensor_name:
      layout: nchw
      shape:
      - 1
      - 1
      - 28
      - 28
      fitting: scale
      preprocess:
        reverse_channel: true
        mean:
        - 0
        scale:
        - 0.00392157
        preproc_node_params:
          add_preproc_node: false
          preproc_type: IMAGE_GRAY
          # preproc_dtype_converter:
            # quantizer: asymmetric_affine
            # qtype: uint8
            # scale: 1.0
            # zero_point: 0
          preproc_image_size:
          - 28
          - 28
          preproc_crop:
            enable_preproc_crop: false
            crop_rect:
            - 0
            - 0
            - 28
            - 28
          preproc_perm:
          - 0
          - 1
          - 2
          - 3
      redirect_to_output: false

量化模型

使用 pegasus_quantize.sh 将模型量化成 uint8 类型
X86 Linux PC
./pegasus_quantize.sh lenet/ uint8 10
编译模型

使用 ./pegasus_export_ovx.sh 将模型量编译为 NBG 模型格式
X86 Linux PC
./pegasus_export_ovx.sh lenet/ uint8
NBG 模型保存在 lenet/wksp/lenet_uint8_nbg_unify/network_binary.nb

板端推理 LeNet

进入 LeNet 示例代码文件目录路经

Device

cd ai-sdk/examples/lenet

编译示例

Device

make AI_SDK_PLATFORM=a733
make install AI_SDK_PLATFORM=a733 INSTALL_PREFIX=./

参数解析：

AI_SDK_PLATFORM: 指定 SoC，可选 a733, t527

INSTALL_PREFIX: 指定安装路经

运行示例

导入环境变量

Device

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/rock/ai-sdk/viplite-tina/lib/aarch64-none-linux-gnu/NPU_VERSION # NPU_SW_VERSION

提示

指定 NPU_SW_VERSION， A733 选择 v2.0, T527 选择 v1.13, NPU 信息对照请参考 NPU 版本对照表

进入示例安装目录

Device

cd INSTALL_PREFIX/etc/npu/lenet
# ./lenet nbg_model input_picture
./lenet ./model/lenet.nb ./input_data/lenet.dat

提示

示例会自动安装 radxa 提供的 lenet.nb 模型，这里可手动指定用户转换的 NBG 模型路经。

lenet input image

(.venv) rock@radxa-cubie-a7a:~/ai-sdk/examples/lenet/etc/npu/lenet$ ./lenet ./model/network_binary.nb ./input_data/lenet.dat
./lenet nbg input
VIPLite driver software version 2.0.3.2-AW-2024-08-30
viplite init OK.
VIPLite driver version=0x00020003...
VIP cid=0x1000003b, device_count=1
* device[0] core_count=1
awnn_init total: 4.07 ms.
  vip_create_network ./model/network_binary.nb: 1.10 ms.
input 0 dim 28 28 1 1, data_format=2, name=input/output[0], elements=134284329, scale=0.003922, zero_point=0
create input buffer 0: 784
output 0 dim 10 1, data_format=1, name=uid_8_sub_uid_1_out_0, elements=10, none-quant
create output buffer 0: 20
memory pool size=0 bytes
  load_param ./model/network_binary.nb: 0.24 ms.
  prepare network ./model/network_binary.nb: 0.13 ms.
  set network io ./model/network_binary.nb: 0.01 ms.
awnn_create total: 1.54 ms.
memcpy(0xffffacd12000, 0xaaaada2fed20, 784)  load_input_data: 0.01 ms.
  vip_flush_buffer input: 0.01 ms.
awnn_set_input_buffers total: 0.04 ms.
  vip_run_network: 0.22 ms.
  vip_flush_buffer output: 0.00 ms.
    fp16 memcpy: 0.00 ms.
  tensor to fp: 0.01 ms.
awnn_run total: 0.27 ms.
0.999512 0.000000 0.000120 0.000000 0.000000 0.000163 0.000152 0.000000 0.000000 0.000082
awnn_destroy total: 0.47 ms.
awnn_uninit total: 0.67 ms.

下载 ai-sdk 示例仓库​

PC 端模型转换​

板端推理 LeNet​

编译示例​

运行示例​

下载 ai-sdk 示例仓库

PC 端模型转换

板端推理 LeNet

编译示例

运行示例