PrismML-Eng GitHub avatar

Bonsai-demo

Shell
小模型本地运行演示PrismML-Eng最近推送 2026年11月5日
模型推理与部署Apache-2.03,53241020 issues7 天 +24

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在本地运行 Bonsai 2 系列小模型(2B–27B)的一键脚本与演示环境。

这是 PrismML 的 Bonsai Demo 仓库,提供 Shell 和 PowerShell 脚本,用于下载 Bonsai 2 系列模型(2B、4B、9B、27B)以及配套的 llama.cpp 二进制文件,并在 Mac、Linux、Windows 或 CPU 上启动本地聊天服务。模型以 GGUF 和 MLX 2-bit 格式发布,默认下载 27B 的 PQ2_0 打包版本,同时附带 Open WebUI 和代码解释器。

推荐指数

4.0

想在本机跑量化小模型并直接获得聊天、视觉和工具调用界面的人,可以省去大量配置工作。

近 7 天

+24

新增 Star

总 Star 排名

#1591

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年3月26日

核心亮点

  • 1多尺寸可选

    2B、4B、9B、27B 四档,用环境变量切换。

  • 2多后端支持

    覆盖 Metal、CUDA、Vulkan、ROCm 和纯 CPU。

  • 3视觉与工具调用

    支持图片、截图、PDF 提问和 OpenAI 风格 tool_calls。

  • 4长上下文

    27B 标称 262K token 上下文。

  • 5一键脚本

    setup 脚本自动拉取模型和匹配的推理二进制。

适用场景

  • 本地私有聊天

    例如:在 Mac 上运行 4B 模型,数据不出本机。

  • 低显存设备试验

    例如:用 2B 模型在普通笔记本 CPU 上跑通对话。

  • 带图问答

    例如:上传截图让 27B 模型解释界面内容。

  • Agent 工具调用验证

    例如:接入 MCP server 测试模型的多轮工具调用。

它是怎么工作的

  1. 第 1 步

    选择模型

    通过 BONSAI_MODEL 环境变量指定 2B/4B/9B/27B。

  2. 第 2 步

    下载依赖

    setup 脚本获取对应平台的 llama.cpp 二进制和模型权重。

  3. 第 3 步

    启动服务

    start_llama_server 脚本加载模型并暴露本地 HTTP 接口。

  4. 第 4 步

    浏览器使用

    打开 localhost:8080 进行聊天、传图和调用工具。

快速上手

  1. 1

    克隆并安装

    下载脚本、二进制和默认 27B 模型

    git clone https://github.com/PrismML-Eng/Bonsai-demo.git && cd Bonsai-demo && ./setup.sh
  2. 2

    启动服务

    启动本地推理服务

    ./scripts/start_llama_server.sh
  3. 3

    命令行单问

    不起服务直接问一句

    ./scripts/run_llama.sh -p "What is the capital of France?"
  4. 4

    换小模型

    先设环境变量再重复前两步

    export BONSAI_MODEL=4B

适合谁

  • 想本地跑量化 LLM 的开发者
  • 有 Mac 或带 GPU 的 Linux/Windows 机器
  • 需要视觉或工具调用演示环境的人

不太适合

  • 只想调云端 API 的用户
  • 显存和磁盘都很紧张的低配设备

成熟度

  • 活跃度2026 年 3 月创建,11 月仍有推送,star 超 3500。
  • 文档README 分平台给出步骤,并有 FAQ、工具、视觉等专题文档。
  • 社区有 Discord 和 409 fork,但 issue 数量少,生态仍在早期。
  • 上手难度两条命令即可跑通,但默认下载体积较大。

同类项目怎么选

  • llama.cpp通用推理引擎,本项目在其上封装模型下载和启动脚本。
  • Ollama提供统一的模型管理与服务,本项目绑定 Bonsai 系列模型。
  • LM Studio图形化本地模型客户端,本项目以脚本和命令行为主。

使用前注意

  • · 默认 PQ2_0 打包需 PrismML 的 llama.cpp fork,官方版仅支持 Q2_0。
  • · 默认下载 27B 约 7.8 GB,加上 Open WebUI 和代码解释器会再多几 GB。
  • · 模型为三值量化,精度与全精度存在差距,官方称保留约 98.2%。
  • · 低推理档位不受支持,选 low 时行为接近 xhigh。

主题标签

bonsaillmprism-mlllamacppmlxsmall-models