wici-ai GitHub avatar

inferssd

C++
SSD 流式 MoE 推理引擎wici-ai最近推送 2026年11月19日
模型推理与部署Apache-2.01,23410826 issues7 天 +842

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

通过从 SSD 流式加载 MoE 专家,让普通内存也能跑超大模型。

InferSSD 是一个基于 llama.cpp 的推理工具,专门用于运行参数量远超内存或显存的 MoE 大模型。它通过从 SSD 按需读取专家权重,让 763B、816B 级别的模型在 48GB 内存的 MacBook 或 8GB 显存的 RTX 5060 Ti 上也能运行。支持标准 GGUF 文件,并提供浏览器聊天界面和 OpenAI 兼容 API。

推荐指数

4.0

对想在有限硬件上跑超大 MoE 模型的开发者很实用,性能提升明显,但平台和模型支持仍有限。

近 7 天

+842

新增 Star

总 Star 排名

#3091

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月22日

核心亮点

  • 1突破内存限制

    通过 SSD 流式加载专家权重,模型大小不再受 RAM/VRAM 容量硬约束。

  • 2性能提升显著

    在多个硬件上对比 llama.cpp 有 3~48 倍的 prefill 加速和 3~17 倍的 decode 加速。

  • 3兼容标准 GGUF

    直接使用社区转换的 GGUF 文件,无需额外格式转换。

  • 4自带聊天界面和 API

    提供浏览器聊天和 OpenAI 兼容 API,方便集成和测试。

  • 5多平台支持

    支持 macOS/Metal 和 Linux/CUDA,Windows 版本正在开发中。

适用场景

  • 在消费级硬件上运行超大 MoE 模型

    例如:用 48GB 内存的 MacBook Pro 运行 763B 参数的 DeepSeek-V4.1-Flash-1017。

  • 需要 OpenAI 兼容 API 的本地推理服务

    例如:启动 InferSSD 后,通过 OpenAI API 调用 Qwen3.6-35B-A3B 进行对话。

  • 对比不同推理后端性能

    例如:在 RTX 5090 上对比 llama.cpp 和 InferSSD 运行 Muse-Spark-Open 的 token/s。

它是怎么工作的

  1. 第 1 步

    加载 GGUF 模型

    读取标准 GGUF 文件,识别 MoE 结构和专家权重。

  2. 第 2 步

    按需流式读取专家

    推理时根据路由结果从 SSD 读取当前 token 需要的专家权重,而非全部载入内存。

  3. 第 3 步

    内存预算检查

    启动前检查权重、KV 缓存和工作内存是否在预算内,超出则拒绝加载。

  4. 第 4 步

    提供推理服务

    通过内置聊天界面或 OpenAI 兼容 API 对外提供推理能力。

快速上手

  1. 1

    安装

    在 Apple Silicon macOS 或 Linux NVIDIA GPU 上执行安装脚本。

    curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh
  2. 2

    下载模型

    从 Hugging Face 获取支持的 GGUF 文件,如 Qwen3.6-35B-A3B。

  3. 3

    启动推理

    使用命令行或启动器加载模型,打开浏览器聊天或调用 API。

适合谁

  • 想在有限内存/显存下运行超大 MoE 模型的开发者
  • 需要本地 OpenAI 兼容 API 的开发者
  • 使用 macOS 或 Linux NVIDIA GPU 的用户

不太适合

  • Windows 用户(目前仍在开发中)
  • 需要运行非 MoE 模型且内存充足的用户
  • 对推理延迟极度敏感的生产环境

成熟度

  • 活跃度创建于 2026 年 10 月,最近更新在 2026 年 11 月,有 30 个开放 issue,开发活跃。
  • 文档README 包含模型列表、性能基准和安装步骤,但部分细节需参考 docs 目录。
  • 社区1214 星、105 fork,有 Slack 频道,但社区规模尚小。
  • 上手难度提供一键安装脚本和预编译包,但需要自行下载模型文件。

同类项目怎么选

  • llama.cpp通用推理框架,不专门做 SSD 流式加载,大模型需要足够内存。
  • Colibri同样支持大模型推理,但使用 Safetensors 格式,且部分模型不支持。

使用前注意

  • · Apache-2.0 许可,商用需保留版权声明。
  • · Windows 支持仍在开发中,目前主要支持 macOS 和 Linux。
  • · 需要 SSD 有足够空间存放模型文件,且 SSD 速度影响推理性能。
  • · 仅支持列出的 MoE 模型,其他模型可能无法使用 SSD 流式加载。

主题标签

cudaggufllama-cppllmmetalmixture-of-expertsssdlinuxllm-inferencelocal-llmmacosmoeoffloadingrocmvulkanwindows