RKLLM 安装

RKLLM 简介

RKLLM 可以帮助用户快速将 LLM 模型部署到 Rockchip 芯片中，目前支持芯片：RK3588/RK3576/RK3562 系列芯片。

RKLLM 整体框架如下：

目前支持模型

• LLAMA models
• TinyLLAMA models
• Qwen models
• Phi models
• ChatGLM3-6B
• Gemma2
• Gemma3
• InternLM2 models
• MiniCPM models
• TeleChat models
• Qwen2-VL-2B-Instruct
• MiniCPM-V-2_6
• DeepSeek-R1-Distill
• Janus-Pro-1B
• InternVL2-1B
• Qwen2.5-VL-3B-Instruct
• Qwen3

下载 SDK

进入统一存放 SDK 的目录并克隆 RKLLM 仓库。

X86 Linux PC

cd RKSDK
git clone -b release-v1.2.3 https://github.com/airockchip/rknn-llm.git

安装 Miniforge

X86 Linux PC

wget https://github.com/conda-forge/miniforge/releases/download/25.11.0-0/Miniforge3-25.11.0-0-Linux-x86_64.sh
chmod +x Miniforge3-25.11.0-0-Linux-x86_64.sh
bash Miniforge3-25.11.0-0-Linux-x86_64.sh

创建虚拟环境

X86 Linux PC

conda create -n rkllm python=3.12

激活虚拟环境

X86 Linux PC

conda activate rkllm

安装依赖包

X86 Linux PC

cd rknn-llm/rkllm-toolkit/packages
pip install rkllm_toolkit-1.2.3-cp312-cp312-linux_x86_64.whl

验证安装

若执行以下命令没有报错，则安装成功。

X86 Linux PC

$python3
>>>from rkllm.api import RKLLM

编译工具

编译板端运行代码时需要用到交叉编译工具链。

点击下载官方推荐版本：gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu。

下载完成之后解压即可。

编译前需要导出编译器路径到环境变量，让脚本能找到下载的交叉编译器。

X86 Linux PC

export GCC_COMPILER=/path/to/your/gcc/bin/aarch64-linux-gnu

板端驱动配置

由于所提供的 RKLLM 所需要的 NPU 内核版本较高，用户在板端使用 RKLLM Runtime 进行模型推理前，首先需要确认板端的 NPU 内核是否为 v0.9.8 版本。

提示

radxa 6.1 固件默认 RKNPU 驱动版本为 0.9.6，请通过: sudo rsetup -> System -> System Update 升级系统以更新至 0.9.8 RKNPU 驱动。 升级后请务必执行 sudo apt autopurge 然后重启。

信息

部分 CLI / 最小化镜像可能不会预装 RKLLM 运行时所需的 RKNPU2 用户态包。若运行 llm_demo 时出现 failed to open rknpu module 或 failed to open rknn device，请先手动安装对应 SoC 的 RKNPU2 包并重启。

Radxa OS

sudo apt update
# RK3588 / RK3582 系列
sudo apt install rknpu2-rk3588
# RK356X 系列请改为：sudo apt install rknpu2-rk356x
sudo reboot

查看驱动版本：

Radxa OS

$ sudo cat /sys/kernel/debug/rknpu/version
RKNPU driver: v0.9.8

（可选）手动编译 NPU 内核：

若用户所使用的为非官方固件，需要对内核进行更新；其中，RKNPU 驱动包支持两个主要内核版本：kernel-5.10 和 kernel-6.1；用户可在内核根目录下的 Makefile 中确认具体版本号。内核的具体的更新步骤如下：

1） 下载压缩包 rknpu_driver_0.9.8_20241009.tar.bz2。

2） 解压该压缩包，将其中的 rknpu 驱动代码覆盖到当前内核代码目录。

3） 重新编译内核。

4） 将新编译的内核烧录到设备中。

板端克隆仓库

RKLLM Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口，帮助用户部署 RKLLM 模型，加速 LLM 应用的实现。

在板端克隆 RKLLM 仓库：

Radxa OS

git clone -b release-v1.2.3 https://github.com/airockchip/rknn-llm.git