AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月19日
让内存装不下的 MoE 大模型在手机、笔记本等设备上运行。
这是一个基于 llama.cpp 的推理引擎,专门运行超出设备内存容量的 MoE(混合专家)模型。它把每个 token 都要用到的权重和常用专家留在内存里,其余专家按需从闪存读取,输出与整模型载入内存时一致。支持 Android、iOS、macOS、Windows、Linux,并提供桌面应用、手机应用和 OpenAI/Anthropic 兼容的本地服务。
推荐指数
思路实用、跨平台覆盖广,适合想在低内存设备上跑大 MoE 的开发者,但项目较新、移动端仍属实验阶段。
总 Star 排名
#3453
雷达追踪的 3,971 个 AI 仓库中
创建于
2026
2026年7月11日
核心亮点
1超出内存可跑
专家按需从闪存读取,模型体积可大于设备内存。
2自动调参
--auto 测量机器和模型,自动选择缓存大小、线程与设备分工。
3通用兼容
任意 MoE GGUF、任意量化,无需为单个模型写代码。
4多后端支持
覆盖 CPU、Metal、CUDA、HIP、Vulkan、OpenCL 和 Hexagon NPU。
5本地 API 服务
提供 OpenAI 与 Anthropic 兼容接口,可接编码代理。
适用场景
低内存设备跑大模型
例如:在 12 GB 安卓手机上运行 21 GB 的 Qwen3.6-35B-A3B,约 5-6 tok/s。
无独显笔记本本地推理
例如:16 GB 内存的 ThinkPad 纯 CPU 运行 35B-A3B,内置代理生成网页。
给编码代理提供本地模型
例如:启动 bmoe-server,用 OpenAI 兼容接口接入本地编码工具。
多模态本地问答
例如:放置 mmproj 投影文件后,通过 API 或 --image 让模型读图。
它是怎么工作的
第 1 步
加载模型
读取 GGUF 模型,识别 MoE 结构与专家分布。
第 2 步
常驻内存
每个 token 都需要的权重和常用专家保留在内存或显存。
第 3 步
按需读取
未缓存的专家在需要时从闪存读取,用完按策略淘汰。
第 4 步
自动调度
--auto 根据硬件和模型选择缓存、线程与设备分工。
第 5 步
对外服务
通过桌面/手机应用或 OpenAI 兼容服务提供推理。
快速上手
- 1
安装应用
从最新 release 下载对应平台安装包,macOS 拖入 Applications,Windows 运行 setup.exe,Linux 运行 AppImage,Android 安装 APK。
- 2
选择模型
打开应用,在 Models 中选择 GGUF 模型;NVIDIA/AMD 显卡在 Settings 中配置后端。
- 3
命令行使用
仅用命令行工具时,从 release 下载 bmoe-cli 与 bmoe-server。
curl -fsSL https://github.com/Helldez/BigMoeOnEdge/releases/latest/download/ins - 4
自动配置
运行时加 --auto 让程序测量硬件并自动选择缓存与线程。
适合谁
- 想在手机或低内存笔记本上跑大 MoE 的开发者
- 需要本地 OpenAI 兼容服务的工具集成者
- 关注边缘 AI 与端侧推理的工程师
不太适合
- 追求高吞吐生产部署的团队
- 需要稳定成熟移动端方案的用户
成熟度
- 活跃度2026 年 7 月创建,11 月仍有推送,迭代活跃。
- 文档README 含性能表、安装说明和多语言版本,另有 docs 目录。
- 社区约 1000 star、100 fork,68 个开放 issue,社区尚在成长。
- 上手难度有图形应用和 --auto,但 iOS 需自行编译,属实验性。
同类项目怎么选
- llama.cpp通用 GGUF 推理引擎,本项目在其之上做 MoE 流式专家加载与自动调度。
- Ollama侧重易用的本地模型管理与服务,不专门解决模型超出内存的问题。
使用前注意
- · iOS 端需用 Xcode 自行构建,标注为实验性。
- · macOS 应用尚未公证,首次启动需额外步骤。
- · Linux 图形界面依赖 WebKitGTK 4.1。
- · 从闪存读取专家会受存储速度影响,解码速度因设备差异较大。
