Helldez GitHub avatar

BigMoeOnEdge

C++
边缘 MoE 流式推理Helldez最近推送 2026年11月20日
模型推理与部署Apache-2.01,04310766 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月19日

让内存装不下的 MoE 大模型在手机、笔记本等设备上运行。

这是一个基于 llama.cpp 的推理引擎,专门运行超出设备内存容量的 MoE(混合专家)模型。它把每个 token 都要用到的权重和常用专家留在内存里,其余专家按需从闪存读取,输出与整模型载入内存时一致。支持 Android、iOS、macOS、Windows、Linux,并提供桌面应用、手机应用和 OpenAI/Anthropic 兼容的本地服务。

推荐指数

4.0

思路实用、跨平台覆盖广,适合想在低内存设备上跑大 MoE 的开发者,但项目较新、移动端仍属实验阶段。

总 Star 排名

#3453

雷达追踪的 3,971 个 AI 仓库中

创建于

2026

2026年7月11日

核心亮点

  • 1超出内存可跑

    专家按需从闪存读取,模型体积可大于设备内存。

  • 2自动调参

    --auto 测量机器和模型,自动选择缓存大小、线程与设备分工。

  • 3通用兼容

    任意 MoE GGUF、任意量化,无需为单个模型写代码。

  • 4多后端支持

    覆盖 CPU、Metal、CUDA、HIP、Vulkan、OpenCL 和 Hexagon NPU。

  • 5本地 API 服务

    提供 OpenAI 与 Anthropic 兼容接口,可接编码代理。

适用场景

  • 低内存设备跑大模型

    例如:在 12 GB 安卓手机上运行 21 GB 的 Qwen3.6-35B-A3B,约 5-6 tok/s。

  • 无独显笔记本本地推理

    例如:16 GB 内存的 ThinkPad 纯 CPU 运行 35B-A3B,内置代理生成网页。

  • 给编码代理提供本地模型

    例如:启动 bmoe-server,用 OpenAI 兼容接口接入本地编码工具。

  • 多模态本地问答

    例如:放置 mmproj 投影文件后,通过 API 或 --image 让模型读图。

它是怎么工作的

  1. 第 1 步

    加载模型

    读取 GGUF 模型,识别 MoE 结构与专家分布。

  2. 第 2 步

    常驻内存

    每个 token 都需要的权重和常用专家保留在内存或显存。

  3. 第 3 步

    按需读取

    未缓存的专家在需要时从闪存读取,用完按策略淘汰。

  4. 第 4 步

    自动调度

    --auto 根据硬件和模型选择缓存、线程与设备分工。

  5. 第 5 步

    对外服务

    通过桌面/手机应用或 OpenAI 兼容服务提供推理。

快速上手

  1. 1

    安装应用

    从最新 release 下载对应平台安装包,macOS 拖入 Applications,Windows 运行 setup.exe,Linux 运行 AppImage,Android 安装 APK。

  2. 2

    选择模型

    打开应用,在 Models 中选择 GGUF 模型;NVIDIA/AMD 显卡在 Settings 中配置后端。

  3. 3

    命令行使用

    仅用命令行工具时,从 release 下载 bmoe-cli 与 bmoe-server。

    curl -fsSL https://github.com/Helldez/BigMoeOnEdge/releases/latest/download/ins
  4. 4

    自动配置

    运行时加 --auto 让程序测量硬件并自动选择缓存与线程。

适合谁

  • 想在手机或低内存笔记本上跑大 MoE 的开发者
  • 需要本地 OpenAI 兼容服务的工具集成者
  • 关注边缘 AI 与端侧推理的工程师

不太适合

  • 追求高吞吐生产部署的团队
  • 需要稳定成熟移动端方案的用户

成熟度

  • 活跃度2026 年 7 月创建,11 月仍有推送,迭代活跃。
  • 文档README 含性能表、安装说明和多语言版本,另有 docs 目录。
  • 社区约 1000 star、100 fork,68 个开放 issue,社区尚在成长。
  • 上手难度有图形应用和 --auto,但 iOS 需自行编译,属实验性。

同类项目怎么选

  • llama.cpp通用 GGUF 推理引擎,本项目在其之上做 MoE 流式专家加载与自动调度。
  • Ollama侧重易用的本地模型管理与服务,不专门解决模型超出内存的问题。

使用前注意

  • · iOS 端需用 Xcode 自行构建,标注为实验性。
  • · macOS 应用尚未公证,首次启动需额外步骤。
  • · Linux 图形界面依赖 WebKitGTK 4.1。
  • · 从闪存读取专家会受存储速度影响,解码速度因设备差异较大。

主题标签

androidcppedge-aiggufinferencellama-cppllmmixture-of-expertsmoeon-device-aiqwengemma