RKLLM 安装

RKLLM 简介

RKLLM 可以帮助用户快速将 LLM 模型部署到 Rockchip 芯片中，目前支持芯片：rk3588/rk3576，整体框架如下：

目前支持模型

RKLLM 安装

要使用 RKNPU，用户需要先在 x86 工作站上运行 RKLLM-Toolkit 工具，将训练好的模型转换为 RKLLM 格式的模型，然后在开发板上使用 RKLLM C API 进行推理

x86 PC 工作站

（可选）安装 Anaconda

如果系统中没有安装 Python 3.8（必要版本），或者同时有多个版本的 Python 环境，建议使用 Anaconda 创建新的 Python 3.8 环境
- 安装 Anaconda
  
  在计算机的终端窗口中执行以下命令，检查是否安装 Anaconda，若已安装则可省略此节步骤
```
$ conda --version
conda 23.10.0
```
  如出现 conda: command not found, 则表示未安装 anaconda, 请参考 Anaconda 官网进行安装
- 创建 conda 环境
```
conda create -n rkllm python=3.8
```
- 进入 rkllm conda 环境
```
conda activate rkllm
```
- 退出环境
```
conda deactivate
```

RKLLM-Toolkit是一套软件开发包，供用户在 PC 上进行 Huggingface 格式的 LLM 模型转换和量化

git clone -b release-v1.0.1 https://github.com/airockchip/rknn-llm.git
pip3 install ./rknn-llm/rkllm-toolkit/packages/rkllm_toolkit-1.0.1-cp38-cp38-linux_x86_64.whl

若执行以下命令没有报错，则安装成功

python3
from rkllm.api import RKLLM

开发板

检查 NPU 驱动版本是否大于等于 0.9.6，如小于此版本请下载并烧录最新 radxa 6.1 固件
```
$ sudo cat /sys/kernel/debug/rknpu/version
RKNPU driver: v0.9.6
```
（可选）手动编译 NPU 内核

若用户所使用的为非官方固件，需要对内核进行更新；其中，RKNPU 驱动包支持两个主要内核版本：kernel-5.10 和 kernel-6.1；用户可在内核根目录下的 Makefile 中确认具体版本号。内核的具体的更新步骤如下：

1）下载压缩包 rknpu_driver_0.9.6_20240322.tar.bz2

2）解压该压缩包，将其中的 rknpu 驱动代码覆盖到当前内核代码目录

3）重新编译内核

4）将新编译的内核烧录到设备中
RKLLM Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口，帮助用户部署 RKLLM 模型，加速 LLM 应用的实现
```
git clone https://github.com/airockchip/rknn-llm.git
```

RKLLM 安装

RKLLM 简介​

目前支持模型​

RKLLM 安装​

x86 PC 工作站​

开发板​

RKLLM 简介

目前支持模型

RKLLM 安装

x86 PC 工作站

开发板