Capsize-Games GitHub avatar

airunner

Python
本地多模态推理引擎Capsize-Games最近推送 2026年11月18日
模型推理与部署GPL-3.01,31810447 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

离线 AI 推理服务,提供图像、语音、LLM 与工作流的 HTTP/WebSocket 接口。

AI Runner 是一个离线推理引擎,为其他应用提供模型 worker、运行时编排、持久化和 HTTP/WebSocket API。仓库现在只包含无界面服务端,Qt 桌面应用和付费桌面商店已停止维护。项目由 Capsize LLC 的一名工程师开发,采用 GPL-3.0-only 许可。

推荐指数

3.0

功能覆盖多模态离线推理,但依赖发布受阻、安装门槛高,适合愿意折腾的开发者。

近 7 天

+1

新增 Star

总 Star 排名

#2954

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年3月22日

核心亮点

  • 1多模态离线

    覆盖图像生成、语音识别、语音合成和 LLM 聊天。

  • 2服务化接口

    提供 FastAPI 路由和 WebSocket,方便被其他应用调用。

  • 3本地隐私

    模型和数据都在本地运行,不依赖云端 API。

  • 4容器部署

    提供开发版和发布版 Docker Compose 文件。

  • 5原生边车

    通过 llama.cpp 和 whisper.cpp 边车运行 LLM 与语音模型。

适用场景

  • 本地 AI 后端

    例如:给自己的桌面工具接一个本地图像生成和聊天接口。

  • 隐私敏感场景

    例如:在断网机器上处理语音转写和文本生成。

  • 自动化工作流

    例如:用 HTTP API 把语音识别和 LLM 串成处理流水线。

它是怎么工作的

  1. 第 1 步

    启动守护进程

    运行 headless 服务,默认只监听本机回环地址。

  2. 第 2 步

    加载模型

    按需下载并加载图像、LLM、语音等模型 worker。

  3. 第 3 步

    调用接口

    通过 FastAPI 的 HTTP 或 WebSocket 接口提交任务。

  4. 第 4 步

    编排执行

    运行时负责调度模型、持久化结果并返回输出。

快速上手

  1. 1

    创建环境

    需要 Python 3.13.3 及以上,用 uv 建虚拟环境。

    uv venv --python 3.13 .venv
  2. 2

    安装依赖

    从仓库检出目录安装 services 和 native 包。

    uv pip install --python .venv/bin/python -e "./services[development]" -e ./native
  3. 3

    Docker 运行

    用发布版 compose 文件启动无界面服务。

    docker compose -f docker-compose.release.yml run --rm --service-ports airunner
  4. 4

    健康检查

    服务启动后访问健康检查端点确认状态。

适合谁

  • 需要本地多模态推理后端的开发者
  • 能处理 Python 依赖和 Docker 的工程师
  • 对数据隐私有要求的团队

不太适合

  • 想要开箱即用桌面应用的用户
  • 不熟悉命令行和环境配置的新手

成熟度

  • 活跃度最近仍有提交,但项目由单人维护。
  • 文档README 详细但偏发布流程,缺少完整硬件支持说明。
  • 社区约 1300 star、100 fork,贡献者集中。
  • 上手难度依赖部分无法从公共索引解析,安装步骤复杂。

同类项目怎么选

  • ComfyUI偏图像生成工作流,不覆盖语音和 LLM 服务。
  • Ollama专注本地 LLM 推理,不含图像和语音能力。
  • LocalAI同样提供本地多模态 API,但社区和生态更成熟。

使用前注意

  • · GPL-3.0-only 许可,商用集成需评估合规。
  • · 部分依赖包在 PyPI 发布暂停,安装可能失败。
  • · TTS 相关 extras 依赖未解决的 airunner-tts-vendor。
  • · 对外网暴露服务需设置 AIRUNNER_API_KEY,勿用 --insecure-no-auth。

主题标签

aiai-artartasset-generatorpythonstable-diffusiondeep-learningimage-generationtext-to-imagetext-to-speechmultimodalchatbotspeech-to-textdesktop-appprivacypyside6mistraltext-to-speech-appself-hostedpygame