跳到主要内容

CasaOS 部署 AI 大模型

安装 radxa 一键启动大模型 Apps​

这里将介绍如何在 CasaOS 安装 radxa 大模型 App, CasaOS 中的第三方 App 以 docker image 的形式进行安装， 上传到 CasaOS App store 可参考这里， radxa 目前已将 Stable Diffusion, whisper, chatglm2 chatdoc, imagesearch, llama3 chatbot 五个大模型 App 上传至 docker hub， 更多详细信息清参考 App 构建方法

AppDocker ImageContainer port
Radxa Stable Diffusionradxazifeng278/radxa_sd_app:0.3.08999
Radxa whisperradxazifeng278/radxa_whisper_app:0.1.07860
Radxa ImageSearchradxazifeng278/radxa_imgsearch_app:0.1.08501
Radxa ChatGLM2 chatdocradxazifeng278/radxa_chatdoc_app:0.1.08501
Radxa Llama3 chatbotradxazifeng278/radxa_llama3_app:0.1.08003
  • 点击 CasaOS App 栏的 "+" 标志，选择 Install a customized app

casaos_2.webp

安装 radxa Stable Diffusion 文/图生图 App​

提示

Stable Diffusion 出厂已预装

  • 填入 radxa stable diffusion 容器安装所需信息

  • 信息详解

    Docker Image 镜像名字，填入会自动在docker hub中拉取镜像

    radxazifeng278/radxa_sd_app:0.3.0

    Title App 名字，用户自定义

    Icon URL App 图标（可选）

    Web UI 端口 指定访问 App 时的默认访问端口, 建议用户可以在 7000-10000中选取，不可与其他 CasaOS 的 APP 端口冲突

    Port docker 容器端口映射，Host 端口为 Web UI 指定的端口， 容器端口为 8999

    8999

    Devices 设备挂载，将 TPU 挂载进 Docker 容器中，建议全部挂载

    • Host: 
      /dev
    • Container: 
      /dev

    Privileges 开启取得最高权限

    Memory limit 容器内存限制，建议拉满，否则可能无法启动服务

    CPU Shares CPU 能力，建议 Medium

    radxa Stable Diffusion
    Docker Imageradxazifeng278/radxa_sd_app:0.3.0
    Titlestable diffusion
    Web UI port9001
    Host Port9001
    Container Port8999
    Host Devices/dev
    Container Devices/dev
    CPU SharesMedium

安装 radxa Whisper 语音识别总结 App​

  • 填入 radxa whisper 容器安装所需信息

    radxa Whisper
    Docker Imageradxazifeng278/radxa_whisper_app:0.1.0
    Titlewhisper
    Web UI port8004
    Host Port8004
    Container Port7860
    Host Devices/dev
    Container Devices/dev
    CPU SharesMedium

安装 radxa ImageSearch 图片搜索 App​

  • 填入 radxa ImageSearch 容器安装所需信息

    radxa ImageSearch
    Docker Imageradxazifeng278/radxa_imgsearch_app:0.1.0
    TitleImage_Search
    Web UI port8007
    Host Port8007
    Container Port8501
    Host Devices/dev
    Container Devices/dev
    CPU SharesMedium

安装 radxa ChatGLM2 chatdoc 文档聊天 App​

提示

安装 chatdoc 前必须参考内存分布修改工具 修改 SG2300X 内存分配

建议分配 -NPU 7168, -VPU 2048, -VPP 3072

  • 填入 radxa ChatGLM2 chatdoc 容器安装所需信息

    radxa Chatdoc
    Docker Imageradxazifeng278/radxa_chatdoc_app:0.1.0
    Titlechatglm2 chatdoc
    Web UI port8009
    Host Port8009
    Container Port8501
    Host Devices/dev
    Container Devices/dev
    CPU SharesMedium

安装 radxa Llama3 Chatbot GPT App​

提示

Llama3 出厂已预装

启动 Llama3 Chatbot 时请关闭其他 TPU 相关 App, 否则存在底层不兼容情况

  • 填入 radxa Llama3 Chatbot 容器安装所需信息

    radxa Chatdoc
    Docker Imageradxazifeng278/radxa_llama3_app:0.1.0
    Titlellama3 chatbot
    Web UI port8008
    Host Port8008
    Container Port8003
    Host Devices/dev
    Container Devices/dev
    CPU SharesMedium

App 启动与卸载​

CasaOS 中 App 开启状态为 App 图标颜色高亮，关闭状态为 App 图标灰色状态

启动 App 单击图标即可，也可以在选中 App 右上角图标更多功能选项中启动

卸载 App 单击 Uninstall 即可

casaos_3.webp