QAI AppBuilder
Quick AI Application Builder (QAI AppBuilder) 可帮助开发者轻松使用基于 Qualcomm® AI Runtime SDK 在搭载 Qualcomm® Hexagon™ Processor (NPU) 的 Qualcomm® SoC 平台上部署 AI 模型和设计 AI 应用。 它将模型部署 API 封装成一组简化的接口，用于将模型加载到 NPU 并执行推理。QAI AppBuilder 大大降低了开发者部署模型的复杂性并且提供多个 demo 让开发者参考设计自己的 AI 应用。
支持 Python API / C++ API
QAI-APPBUILDER 架构
安装方法
克隆仓库
Device
git clone https://github.com/quic/ai-engine-direct-helper.git --recursive
下载 QAIRT SDK
提示
请根据 下载 QAIRT SDK 压缩包 下载 QAIRT SDK 并解压
配置 QAIRT 环境变量
Device
cd qairt/2.37.1.250807
source bin/envsetup.sh
export ADSP_LIBRARY_PATH=$QNN_SDK_ROOT/lib/hexagon-v68/unsigned
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$QNN_SDK_ROOT/lib/aarch64-ubuntu-gcc9.4:$QNN_SDK_ROOT/lib/aarch64-oe-linux-gcc11.2
编译 qai_appbuilder
创建虚拟环境
提示
安装 python 库前需要创建虚拟环境进行环境隔
Device
sudo apt install python3-venv
python3 -m venv .venv
source .venv/bin/activate
编译 qai_appbuilder wheel
Device
pip3 install setuptools
python3 setup.py bdist_wheel
编译完成会在 dist 目录下生成一个 qai_appbuilder-2.34.0-cp312-cp312-linux_aarch64.whl 文件
安装 qai_appbuilder
安装 qai_appbuilder wheel
Device
cd dist
pip3 install ./qai_appbuilder-2.34.0-cp312-cp312-linux_aarch64.whl
应用例子
- QCS6490