OpenAI-Clip 示例

此文档讲述使用 QAI AppBuilder Python API 利用 Qualcomm® Hexagon™ Processor (NPU) 推理 OpenAI-Clip CLIP 模型。

示例支持设备

设备	SoC
Fogwise® AIRbox Q900	QCS9075

安装 QAI AppBuilder

提示

1. 请根据 QAI AppBuilder 安装方法 安装 QAI AppBuilder。

2. 请根据 创建 ADSP 环境变量 配置 ADSP 环境变量。

运行示例

安装依赖

在已激活的虚拟环境中安装示例依赖：

Device

pip3 install requests tqdm qai-hub py3-wget Pillow torch torchvision opencv-python-headless "openai-clip==1.0.1" ftfy "setuptools<81"

运行脚本

• 进入上游示例目录

  Device

  cd qai-appbuilder/samples

• 准备输入数据（示例自带输入文件时可直接运行；也可按脚本参数指定）

image1 image2 image3

• 执行推理

  Device

  python3 Multimodal/Image_Classification/openai_clip/openai_clip.py --chipset 9075 --text "mountain"

成功时终端会为各图打印与文本的相似度分数，例如：

Image with name: image2.jpg has a similarity score=[[18.687502]]
Image with name: image1.jpg has a similarity score=[[16.109377]]
Image with name: image3.jpg has a similarity score=[[34.031254]]

（具体分数随输入图与文本变化；分数最高者与查询文本更匹配。）

• 运行结果示意

image3

提示

openai-clip 依赖较旧的 pkg_resources API，请将 setuptools 固定到 81 以下。首次运行会通过 Qualcomm® AI Hub 自动下载模型。也可直接运行脚本（推荐）；若用启动器，注意 --args 中带空格的参数需正确引号嵌套：

python3 run_inference.py --list
python3 Multimodal/Image_Classification/openai_clip/openai_clip.py --chipset 9075 --text "mountain"