AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
通过从 SSD 流式加载 MoE 专家,让普通内存也能跑超大模型。
InferSSD 是一个基于 llama.cpp 的推理工具,专门用于运行参数量远超内存或显存的 MoE 大模型。它通过从 SSD 按需读取专家权重,让 763B、816B 级别的模型在 48GB 内存的 MacBook 或 8GB 显存的 RTX 5060 Ti 上也能运行。支持标准 GGUF 文件,并提供浏览器聊天界面和 OpenAI 兼容 API。
推荐指数
对想在有限硬件上跑超大 MoE 模型的开发者很实用,性能提升明显,但平台和模型支持仍有限。
近 7 天
+842
新增 Star
总 Star 排名
#3091
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月22日
核心亮点
1突破内存限制
通过 SSD 流式加载专家权重,模型大小不再受 RAM/VRAM 容量硬约束。
2性能提升显著
在多个硬件上对比 llama.cpp 有 3~48 倍的 prefill 加速和 3~17 倍的 decode 加速。
3兼容标准 GGUF
直接使用社区转换的 GGUF 文件,无需额外格式转换。
4自带聊天界面和 API
提供浏览器聊天和 OpenAI 兼容 API,方便集成和测试。
5多平台支持
支持 macOS/Metal 和 Linux/CUDA,Windows 版本正在开发中。
适用场景
在消费级硬件上运行超大 MoE 模型
例如:用 48GB 内存的 MacBook Pro 运行 763B 参数的 DeepSeek-V4.1-Flash-1017。
需要 OpenAI 兼容 API 的本地推理服务
例如:启动 InferSSD 后,通过 OpenAI API 调用 Qwen3.6-35B-A3B 进行对话。
对比不同推理后端性能
例如:在 RTX 5090 上对比 llama.cpp 和 InferSSD 运行 Muse-Spark-Open 的 token/s。
它是怎么工作的
第 1 步
加载 GGUF 模型
读取标准 GGUF 文件,识别 MoE 结构和专家权重。
第 2 步
按需流式读取专家
推理时根据路由结果从 SSD 读取当前 token 需要的专家权重,而非全部载入内存。
第 3 步
内存预算检查
启动前检查权重、KV 缓存和工作内存是否在预算内,超出则拒绝加载。
第 4 步
提供推理服务
通过内置聊天界面或 OpenAI 兼容 API 对外提供推理能力。
快速上手
- 1
安装
在 Apple Silicon macOS 或 Linux NVIDIA GPU 上执行安装脚本。
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh - 2
下载模型
从 Hugging Face 获取支持的 GGUF 文件,如 Qwen3.6-35B-A3B。
- 3
启动推理
使用命令行或启动器加载模型,打开浏览器聊天或调用 API。
适合谁
- 想在有限内存/显存下运行超大 MoE 模型的开发者
- 需要本地 OpenAI 兼容 API 的开发者
- 使用 macOS 或 Linux NVIDIA GPU 的用户
不太适合
- Windows 用户(目前仍在开发中)
- 需要运行非 MoE 模型且内存充足的用户
- 对推理延迟极度敏感的生产环境
成熟度
- 活跃度创建于 2026 年 10 月,最近更新在 2026 年 11 月,有 30 个开放 issue,开发活跃。
- 文档README 包含模型列表、性能基准和安装步骤,但部分细节需参考 docs 目录。
- 社区1214 星、105 fork,有 Slack 频道,但社区规模尚小。
- 上手难度提供一键安装脚本和预编译包,但需要自行下载模型文件。
同类项目怎么选
- llama.cpp通用推理框架,不专门做 SSD 流式加载,大模型需要足够内存。
- Colibri同样支持大模型推理,但使用 Safetensors 格式,且部分模型不支持。
使用前注意
- · Apache-2.0 许可,商用需保留版权声明。
- · Windows 支持仍在开发中,目前主要支持 macOS 和 Linux。
- · 需要 SSD 有足够空间存放模型文件,且 SSD 速度影响推理性能。
- · 仅支持列出的 MoE 模型,其他模型可能无法使用 SSD 流式加载。
