AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 C++ 写的轻量 ONNX 推理库,靠流式加载把内存压到极低,能在树莓派上跑 SDXL。
OnnxStream 是一个 C++ 实现的 ONNX 模型推理库,目标不是追求低延迟或高吞吐,而是尽可能降低内存占用。它把推理引擎和模型权重提供者解耦,通过 WeightsProvider 支持从磁盘、内存或 HTTP 流式加载权重,因此能在 512MB 内存的树莓派 Zero 2 上运行 Stable Diffusion 1.5/XL,也能在桌面和服务器上跑 Mistral 7B 等模型。支持 ARM、x86、WASM、RISC-V,用 XNNPACK 加速,并提供 Python、C# 和 JS(WASM) 绑定。
推荐指数
在低内存设备上跑 ONNX 大模型的实用方案,适合资源受限场景,但速度较慢且需要自己转换模型。
近 7 天
+4
新增 Star
总 Star 排名
#2231
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年7月14日
核心亮点
1极低内存占用
官方称比 OnnxRuntime 省最多 55 倍内存,SDXL 1.0 可在不到 300MB 内存下运行。
2流式权重加载
通过 WeightsProvider 解耦权重来源,支持磁盘无缓存、磁盘预取、内存三种方式,甚至可从 HTTP 直接流式读取。
3多平台多架构
支持 ARM、x86、WASM、RISC-V,可在 Linux、Mac、Windows、Termux、FreeBSD 上构建。
4多语言绑定
提供 Python、C# 和 JS(WASM) 绑定,方便不同技术栈调用。
5覆盖多种模型
示例包括 Stable Diffusion 1.5/XL/Turbo、TinyLlama、Mistral 7B、YOLOv8 和 Whisper。
适用场景
低资源设备部署生成模型
例如:在树莓派 Zero 2 上生成 512x512 的 Stable Diffusion 1.5 图像,无需额外 swap 或磁盘缓存。
浏览器内运行 ONNX 模型
例如:用 WASM 绑定在网页中运行 YOLOv8 目标检测或 Whisper 语音识别。
内存受限的桌面/服务器推理
例如:在内存有限的服务器上运行 Mistral 7B 聊天应用,避免加载完整模型到内存。
它是怎么工作的
第 1 步
准备 ONNX 模型
将目标模型(如 Stable Diffusion、LLM)导出为 ONNX 格式,仓库提供部分转换说明。
第 2 步
选择权重提供方式
根据场景选用 DiskNoCache、DiskPrefetch 或 Ram 等 WeightsProvider,决定权重如何加载和缓存。
第 3 步
流式推理
推理引擎按需从 WeightsProvider 获取权重,逐层计算,避免一次性加载全部参数到内存。
第 4 步
量化与切片优化
对部分大张量使用 UINT8 动态量化,并对注意力等结构做切片,进一步降低内存峰值。
快速上手
- 1
克隆仓库
获取源码。
git clone https://github.com/vitoplantamura/OnnxStream.git - 2
构建示例
按 README 的 How to Build 章节在 Linux/Mac/Windows 等平台编译 Stable Diffusion 示例。
- 3
准备模型文件
下载或转换对应的 ONNX 模型文件,放到指定目录。
- 4
运行推理
执行编译出的可执行文件,按参数指定模型路径和生成选项。
适合谁
- 需要在树莓派等低内存设备上跑生成模型的开发者
- 想研究流式推理和内存优化技术的工程师
- 需要在浏览器中运行 ONNX 模型的 Web 开发者
不太适合
- 追求低延迟、高吞吐的生产推理场景
- 不想手动转换模型、希望开箱即用的用户
成熟度
- 活跃度最近一次提交在 2026 年 6 月,2025 年仍有新绑定和示例加入,更新较活跃。
- 文档README 结构清晰,包含构建、性能、原理和多个模型示例,但部分细节需跳转外部链接。
- 社区约 2090 star、99 fork,67 个开放 issue,社区规模中等。
- 上手难度需要自行编译和转换 ONNX 模型,对普通开发者上手门槛较高。
同类项目怎么选
- ONNX Runtime通用推理引擎,性能优化好但内存占用高,不适合极低内存设备。
- llama.cpp专注 LLM 推理,支持量化,但不直接支持 Stable Diffusion 等通用 ONNX 模型。
- MNN阿里开源的轻量推理引擎,支持多后端和移动端,但内存优化策略与 OnnxStream 不同。
使用前注意
- · 许可证状态为 NOASSERTION,使用前需确认具体许可条款。
- · 推理速度较慢,例如在树莓派 Zero 2 上生成 SDXL 图像约需 11 小时。
- · 需要自行将模型转换为 ONNX 格式,部分模型转换流程可能较复杂。
- · 低内存运行依赖量化,可能影响生成质量,需按场景权衡。
