Nomic-Embed-Text 示例

此文档讲述使用 QAI AppBuilder Python API 利用 Qualcomm® Hexagon™ Processor (NPU) 推理 Nomic-Embed-Text 文本编码模型。

示例支持设备

设备	SoC
Fogwise® AIRbox Q900	QCS9075

安装 QAI AppBuilder

提示

1. 请根据 QAI AppBuilder 安装方法 安装 QAI AppBuilder。

2. 请根据 创建 ADSP 环境变量 配置 ADSP 环境变量。

运行示例

安装依赖

在已激活的虚拟环境中安装示例依赖：

Device

pip3 install requests tqdm qai-hub py3-wget Pillow torch torchvision opencv-python-headless transformers

运行脚本

• 进入上游示例目录

  Device

  cd qai-appbuilder/samples

• 执行推理

  Device

  python3 Multimodal/Text_Generation/nomic_embed_text/nomic_embed_text.py --chipset 9075

成功时终端会打印 embedding 向量（浮点数组）。首次运行会下载模型并可能拉取 Hugging Face tokenizer 相关文件。

提示

也可在 samples 目录使用启动器：

python3 run_inference.py --list
python3 run_inference.py --model nomic_embed_text --args "--chipset 9075"