vitoplantamura GitHub avatar

OnnxStream

C++
轻量推理引擎vitoplantamura最近推送 2026年6月19日
模型推理与部署NOASSERTION2,0929967 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 C++ 写的轻量 ONNX 推理库,靠流式加载把内存压到极低,能在树莓派上跑 SDXL。

OnnxStream 是一个 C++ 实现的 ONNX 模型推理库,目标不是追求低延迟或高吞吐,而是尽可能降低内存占用。它把推理引擎和模型权重提供者解耦,通过 WeightsProvider 支持从磁盘、内存或 HTTP 流式加载权重,因此能在 512MB 内存的树莓派 Zero 2 上运行 Stable Diffusion 1.5/XL,也能在桌面和服务器上跑 Mistral 7B 等模型。支持 ARM、x86、WASM、RISC-V,用 XNNPACK 加速,并提供 Python、C# 和 JS(WASM) 绑定。

推荐指数

4.0

在低内存设备上跑 ONNX 大模型的实用方案,适合资源受限场景,但速度较慢且需要自己转换模型。

近 7 天

+4

新增 Star

总 Star 排名

#2231

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年7月14日

核心亮点

  • 1极低内存占用

    官方称比 OnnxRuntime 省最多 55 倍内存,SDXL 1.0 可在不到 300MB 内存下运行。

  • 2流式权重加载

    通过 WeightsProvider 解耦权重来源,支持磁盘无缓存、磁盘预取、内存三种方式,甚至可从 HTTP 直接流式读取。

  • 3多平台多架构

    支持 ARM、x86、WASM、RISC-V,可在 Linux、Mac、Windows、Termux、FreeBSD 上构建。

  • 4多语言绑定

    提供 Python、C# 和 JS(WASM) 绑定,方便不同技术栈调用。

  • 5覆盖多种模型

    示例包括 Stable Diffusion 1.5/XL/Turbo、TinyLlama、Mistral 7B、YOLOv8 和 Whisper。

适用场景

  • 低资源设备部署生成模型

    例如:在树莓派 Zero 2 上生成 512x512 的 Stable Diffusion 1.5 图像,无需额外 swap 或磁盘缓存。

  • 浏览器内运行 ONNX 模型

    例如:用 WASM 绑定在网页中运行 YOLOv8 目标检测或 Whisper 语音识别。

  • 内存受限的桌面/服务器推理

    例如:在内存有限的服务器上运行 Mistral 7B 聊天应用,避免加载完整模型到内存。

它是怎么工作的

  1. 第 1 步

    准备 ONNX 模型

    将目标模型(如 Stable Diffusion、LLM)导出为 ONNX 格式,仓库提供部分转换说明。

  2. 第 2 步

    选择权重提供方式

    根据场景选用 DiskNoCache、DiskPrefetch 或 Ram 等 WeightsProvider,决定权重如何加载和缓存。

  3. 第 3 步

    流式推理

    推理引擎按需从 WeightsProvider 获取权重,逐层计算,避免一次性加载全部参数到内存。

  4. 第 4 步

    量化与切片优化

    对部分大张量使用 UINT8 动态量化,并对注意力等结构做切片,进一步降低内存峰值。

快速上手

  1. 1

    克隆仓库

    获取源码。

    git clone https://github.com/vitoplantamura/OnnxStream.git
  2. 2

    构建示例

    按 README 的 How to Build 章节在 Linux/Mac/Windows 等平台编译 Stable Diffusion 示例。

  3. 3

    准备模型文件

    下载或转换对应的 ONNX 模型文件,放到指定目录。

  4. 4

    运行推理

    执行编译出的可执行文件,按参数指定模型路径和生成选项。

适合谁

  • 需要在树莓派等低内存设备上跑生成模型的开发者
  • 想研究流式推理和内存优化技术的工程师
  • 需要在浏览器中运行 ONNX 模型的 Web 开发者

不太适合

  • 追求低延迟、高吞吐的生产推理场景
  • 不想手动转换模型、希望开箱即用的用户

成熟度

  • 活跃度最近一次提交在 2026 年 6 月,2025 年仍有新绑定和示例加入,更新较活跃。
  • 文档README 结构清晰,包含构建、性能、原理和多个模型示例,但部分细节需跳转外部链接。
  • 社区约 2090 star、99 fork,67 个开放 issue,社区规模中等。
  • 上手难度需要自行编译和转换 ONNX 模型,对普通开发者上手门槛较高。

同类项目怎么选

  • ONNX Runtime通用推理引擎,性能优化好但内存占用高,不适合极低内存设备。
  • llama.cpp专注 LLM 推理,支持量化,但不直接支持 Stable Diffusion 等通用 ONNX 模型。
  • MNN阿里开源的轻量推理引擎,支持多后端和移动端,但内存优化策略与 OnnxStream 不同。

使用前注意

  • · 许可证状态为 NOASSERTION,使用前需确认具体许可条款。
  • · 推理速度较慢,例如在树莓派 Zero 2 上生成 SDXL 图像约需 11 小时。
  • · 需要自行将模型转换为 ONNX 格式,部分模型转换流程可能较复杂。
  • · 低内存运行依赖量化,可能影响生成质量,需按场景权衡。

主题标签

machine-learningonnxraspberry-pistable-diffusionllamamistraltinymlwasmwebassemblyyolov8whisper