QAIRT SDK 安装

QAIRT (Qualcomm® AI Runtime) SDK 是一个集成了 Qualcomm® AI 软件产品的软件包， 包括 Qualcomm® AI Engine Direct、Qualcomm® Neural Processing SDK 和 Qualcomm® Genie。 QAIRT 为开发者提供了在 Qualcomm® 硬件加速器上移植和部署 AI 模型所需的所有工具，以及在 CPU、GPU 和 NPU 上运行模型的 runtime。 目前 QAIRT SDK 支持对 Pytorch, Tensorflow, TFLite, ONNX 框架模型进行模型移植。

支持推理硬件加速器 IP: CPU、GPU、NPU。

QAIRT SDK 架构

QAIRT SDK 系统要求

• 64 位 x86 处理器
• Ubuntu 22.04
• Python 3.10

下载 QAIRT SDK 压缩包

信息

请使用 2.42.0.251225 版本的 QAIRT SDK

X86 Linux PC

export QAIRT_VERSION=2.42.0.251225

• 请在 Qualcomm® Software Center 下载 2.42.0.251225 QAIRT SDK

  X86 Linux PC / Qualcomm Device

  wget https://softwarecenter.qualcomm.com/api/download/software/sdks/Qualcomm_AI_Runtime_Community/All/${QAIRT_VERSION}/v${QAIRT_VERSION}.zip

• 解压 QAIRT SDK

  X86 Linux PC / Qualcomm Device

  unzip v${QAIRT_VERSION}.zip
  cd qairt/${QAIRT_VERSION}

配置 QAIRT 环境

创建 python 环境

运行 QAIRT 需要 python3.10 环境，用户可以使用 Anaconda 创建

提示

• anaconda 安装请参考：Conda 安装

• conda python 环境创建请参考：创建指定 Python 版本的环境

安装 Anaconda 后使用终端创建 python3.10 环境并启用

X86 Linux PC

conda create -n qairt python=3.10
conda activate qairt

配置 QAIRT 环境变量

X86 Linux PC

source bin/envsetup.sh

检查依赖

• 检查库依赖

  X86 Linux PC

  sudo ${QAIRT_SDK_ROOT}/bin/check-linux-dependency.sh

  Checking for libncurses5
  Checking for libgl1
  Checking for libgtk-3-dev
  Checking for libasound2-dev
  Checking for libnss3
  Checking for git
  Checking for nodejs
  Checking for npm
  Checking for libgbm-dev
  Checking for desktop-file-utils
  Checking for python3-dev
  Checking for python3-pip
  Checking for python3-setuptools
  Checking for clang
  Checking for libc++-dev
  Checking for libc++abi-dev
  Checking for flatbuffers-compiler
  Checking for libflatbuffers-dev
  Checking for rename
  =============================================================
  All Dependency Packages Found
  Done!!

• 检查工具链依赖

  X86 Linux PC

  ${QAIRT_SDK_ROOT}/bin/envcheck -c

  Checking Clang Environment
  --------------------------------------------------------------
  [INFO] Found clang++ at /usr/bin/clang++
  --------------------------------------------------------------

• 安装 python 库依赖

  X86 Linux PC

  python3 "${QAIRT_SDK_ROOT}/bin/check-python-dependency"

安装 AI 框架

根据业务模型格式选择需要安装的模型框架库，无需全部安装。

package name	version
tensorflow	2.10.1
tflite	2.3.0
torch	1.13.1
onnx	1.16.1
onnxruntime	1.17.1
onnxsimplifier	0.4.36

SDK 完整文档

QAIRT SDK 集成了 Qualcomm® AI Engine Direct (QNN)、Qualcomm® Neural Processing SDK (SNPE) 和 Qualcomm® Genie (Genie) 他们的详细文档具体位置如下：

本地文档

• qairt/2.42.0.251225/docs/QNN

• qairt/2.42.0.251225/docs/SNPE

• qairt/2.42.0.251225/docs/Genie

在线文档

• QNN

• SNPE

• Genie

ARM64 Docker 镜像

radxa 提供 docker 镜像方便用户在板端使用 QAIRT SDK，也可以参照本文档内容自行安装

• 安装 Docker

  提示

  请参考 Docker 使用 安装 Docker

• 拉取 docker 镜像

  QCS6490

  Device

  sudo docker pull radxazifeng278/qairt-npu-v68:v1.2

  • 运行 docker 镜像

  Device

  sudo docker run --privileged -it -v /dev:/dev -v $(pwd):/workspace --name qairt-sdk radxazifeng278/qairt-npu-v68:v1.2 /bin/bash

  QCS9075

  Device

  sudo docker pull radxazifeng278/qairt-npu-9075:v1.1

  • 运行 docker 镜像

  Device

  sudo docker run --privileged -it -v /dev:/dev -v $(pwd):/workspace --name qairt-sdk radxazifeng278/qairt-npu-9075:v1.1 /bin/bash

  提示：在 radxazifeng278/qairt-npu-9075:v1.1 镜像中，QAIRT 目录位于 /root/qairt。进入容器后如果不确定路径，可使用以下命令确认：

  find / -name "qairt"

  SC8280XP

  Device

  sudo docker pull radxazifeng278/qairt-npu-v68:v1.0

  • 运行 docker 镜像

  Device

  sudo docker run --privileged -it -v /dev:/dev -v $(pwd):/workspace --name qairt-sdk radxazifeng278/qairt-npu-v68:v1.0 /bin/bash