affifuddin-hazam GitHub avatar

ghost-infer

HTML
affifuddin-hazam最近推送 2026年11月17日
未分类Apache-2.0242163 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个 Rust 单文件程序,在消费级 NVIDIA GPU 上快速运行 GGUF 模型,并提供 OpenAI 兼容 API 和桌面聊天应用。

ghost-infer 是一个面向个人开发者的本地 LLM 推理引擎,用 Rust 编写,编译后只有一个约 3.8 MB 的可执行文件。它支持 GGUF 格式模型,在 NVIDIA 显卡上运行,并内置 OpenAI 兼容的 /v1/chat/completions 服务器和带幽灵形象的桌面聊天页面。项目针对“一人一卡一模型”的场景优化,尤其擅长在显存小于模型大小时通过 MoE 专家缓存和 CPU 协同来加速。

推荐指数

4.0

在消费级 GPU 上跑大 MoE 模型的速度优势明显,单文件部署简单,适合想本地跑模型又不想折腾 Python 环境的开发者。

总 Star 排名

#3843

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月28日

核心亮点

  • 1小显存跑大模型

    MoE 专家留在内存、按需缓存到 GPU,8GB 显卡可跑 16.8GB 的 Qwen3.6-35B-A3B。

  • 2速度对比领先

    README 基准显示在 RTX 2060 SUPER 上,多个 MoE 模型生成速度约为 llama.cpp 的 2 倍。

  • 3单文件无依赖

    编译后仅一个 3.8 MB 文件,不需要 Python、Docker 或预装 CUDA 工具包(源码构建需 NVRTC)。

  • 4OpenAI 兼容 API

    提供 /v1/chat/completions,支持流式和工具调用,现有客户端可直接接入。

  • 5长上下文优化

    注意力在张量核心上运行,64K 上下文后生成速度仍可达 49 tokens/s。

适用场景

  • 本地代码助手

    例如:把 VS Code 的 Continue 插件指向 http://127.0.0.1:8080/v1,用本地模型补全和解释代码。

  • 消费级显卡跑大 MoE 模型

    例如:在 8GB 显存的 RTX 2060 SUPER 上运行 16.8GB 的 Qwen3.6-35B-A3B,获得约 80 tokens/s 的生成速度。

  • 桌面端文件处理

    例如:使用内置桌面应用让模型读取本地文件并执行修改、运行测试等操作。

  • 快速搭建本地 API 服务

    例如:用一条命令启动 serve,让脚本或聊天客户端通过 OpenAI 兼容接口调用本地模型。

它是怎么工作的

  1. 第 1 步

    加载 GGUF 模型

    程序读取 GGUF 文件,将注意力层放在 GPU 上,MoE 专家层留在内存中。

  2. 第 2 步

    按需缓存专家

    生成过程中,频繁使用的专家被缓存到 GPU,其余专家由 CPU 并行计算。

  3. 第 3 步

    CUDA 图执行

    每层作为一个 CUDA 图运行,GPU 自行选择专家,减少 CPU 等待。

  4. 第 4 步

    投机解码加速

    用聊天中已有文本或小草稿模型猜测后续 token,一次验证,保持输出与贪心解码一致。

  5. 第 5 步

    提供 API 和界面

    启动 OpenAI 兼容服务器,同时提供本地聊天页面和桌面应用。

快速上手

  1. 1

    下载 Windows 安装包

    从 GitHub Releases 下载 GhostSetup 并运行,无需管理员权限。

  2. 2

    从源码构建

    克隆仓库后用 cargo 构建 release 版本。

    git clone https://github.com/affifuddin-hazam/ghost-infer && cd ghost-infer && cargo build --release
  3. 3

    启动服务器

    指定 GGUF 模型路径并启用 GPU。

    target\release\ghost-infer serve models\Qwen3-8B-Q4_K_M.gguf --gpu
  4. 4

    连接客户端

    浏览器打开 http://127.0.0.1:8080 聊天,或将 OpenAI 客户端指向 http://127.0.0.1:8080/v1。

适合谁

  • 拥有 NVIDIA 消费级显卡、想本地跑 LLM 的个人开发者
  • 需要 OpenAI 兼容本地 API 的开发者
  • 想在小显存上运行大 MoE 模型的用户
  • 偏好单文件、无 Python 依赖部署方式的用户

不太适合

  • 使用 AMD 或 Intel GPU 的用户(README 仅提及 NVIDIA)
  • 需要多用户高并发批处理的生产环境
  • 不想使用 Windows 桌面应用或命令行工具的用户

成熟度

  • 活跃度创建于 2026-10-27,最近推送 2026-11-16,处于活跃开发阶段。
  • 文档README 详细,含基准数据、安装步骤和多个文档链接,但部分文档需跳转查看。
  • 社区241 stars、16 forks、3 个开放 issue,属于早期项目,社区规模较小。
  • 上手难度提供 Windows 安装包和单文件二进制,源码构建需 CUDA NVRTC,对普通开发者较友好。

同类项目怎么选

  • llama.cpp更成熟、平台支持更广,但 ghost-infer 针对单用户消费级 GPU 和 MoE 模型做了专门优化,README 基准显示速度更快。
  • Ollama提供更简单的模型管理和跨平台支持,但 ghost-infer 是单文件 Rust 程序,且在小显存跑大 MoE 模型上有速度优势。

使用前注意

  • · 仅支持 NVIDIA GPU,README 未提及 AMD 或 Intel 显卡支持。
  • · 源码构建需要 CUDA 工具包的 NVRTC,Windows 安装包则无需额外安装。
  • · 项目较新(2026 年 10 月创建),API 和功能可能快速变化。
  • · 采用 Apache-2.0 许可证,商用需遵守许可条款。

主题标签

cudadesktop-appggufllmllm-inferencelocal-llmmixture-of-expertsopenai-compatible-apirustwindows