AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
在本地运行 Bonsai 2 系列小模型(2B–27B)的一键脚本与演示环境。
这是 PrismML 的 Bonsai Demo 仓库,提供 Shell 和 PowerShell 脚本,用于下载 Bonsai 2 系列模型(2B、4B、9B、27B)以及配套的 llama.cpp 二进制文件,并在 Mac、Linux、Windows 或 CPU 上启动本地聊天服务。模型以 GGUF 和 MLX 2-bit 格式发布,默认下载 27B 的 PQ2_0 打包版本,同时附带 Open WebUI 和代码解释器。
推荐指数
想在本机跑量化小模型并直接获得聊天、视觉和工具调用界面的人,可以省去大量配置工作。
近 7 天
+24
新增 Star
总 Star 排名
#1591
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年3月26日
核心亮点
1多尺寸可选
2B、4B、9B、27B 四档,用环境变量切换。
2多后端支持
覆盖 Metal、CUDA、Vulkan、ROCm 和纯 CPU。
3视觉与工具调用
支持图片、截图、PDF 提问和 OpenAI 风格 tool_calls。
4长上下文
27B 标称 262K token 上下文。
5一键脚本
setup 脚本自动拉取模型和匹配的推理二进制。
适用场景
本地私有聊天
例如:在 Mac 上运行 4B 模型,数据不出本机。
低显存设备试验
例如:用 2B 模型在普通笔记本 CPU 上跑通对话。
带图问答
例如:上传截图让 27B 模型解释界面内容。
Agent 工具调用验证
例如:接入 MCP server 测试模型的多轮工具调用。
它是怎么工作的
第 1 步
选择模型
通过 BONSAI_MODEL 环境变量指定 2B/4B/9B/27B。
第 2 步
下载依赖
setup 脚本获取对应平台的 llama.cpp 二进制和模型权重。
第 3 步
启动服务
start_llama_server 脚本加载模型并暴露本地 HTTP 接口。
第 4 步
浏览器使用
打开 localhost:8080 进行聊天、传图和调用工具。
快速上手
- 1
克隆并安装
下载脚本、二进制和默认 27B 模型
git clone https://github.com/PrismML-Eng/Bonsai-demo.git && cd Bonsai-demo && ./setup.sh - 2
启动服务
启动本地推理服务
./scripts/start_llama_server.sh - 3
命令行单问
不起服务直接问一句
./scripts/run_llama.sh -p "What is the capital of France?" - 4
换小模型
先设环境变量再重复前两步
export BONSAI_MODEL=4B
适合谁
- 想本地跑量化 LLM 的开发者
- 有 Mac 或带 GPU 的 Linux/Windows 机器
- 需要视觉或工具调用演示环境的人
不太适合
- 只想调云端 API 的用户
- 显存和磁盘都很紧张的低配设备
成熟度
- 活跃度2026 年 3 月创建,11 月仍有推送,star 超 3500。
- 文档README 分平台给出步骤,并有 FAQ、工具、视觉等专题文档。
- 社区有 Discord 和 409 fork,但 issue 数量少,生态仍在早期。
- 上手难度两条命令即可跑通,但默认下载体积较大。
同类项目怎么选
- llama.cpp通用推理引擎,本项目在其上封装模型下载和启动脚本。
- Ollama提供统一的模型管理与服务,本项目绑定 Bonsai 系列模型。
- LM Studio图形化本地模型客户端,本项目以脚本和命令行为主。
使用前注意
- · 默认 PQ2_0 打包需 PrismML 的 llama.cpp fork,官方版仅支持 Q2_0。
- · 默认下载 27B 约 7.8 GB,加上 Open WebUI 和代码解释器会再多几 GB。
- · 模型为三值量化,精度与全精度存在差距,官方称保留约 98.2%。
- · 低推理档位不受支持,选 low 时行为接近 xhigh。
