AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
离线 AI 推理服务,提供图像、语音、LLM 与工作流的 HTTP/WebSocket 接口。
AI Runner 是一个离线推理引擎,为其他应用提供模型 worker、运行时编排、持久化和 HTTP/WebSocket API。仓库现在只包含无界面服务端,Qt 桌面应用和付费桌面商店已停止维护。项目由 Capsize LLC 的一名工程师开发,采用 GPL-3.0-only 许可。
推荐指数
功能覆盖多模态离线推理,但依赖发布受阻、安装门槛高,适合愿意折腾的开发者。
近 7 天
+1
新增 Star
总 Star 排名
#2954
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年3月22日
核心亮点
1多模态离线
覆盖图像生成、语音识别、语音合成和 LLM 聊天。
2服务化接口
提供 FastAPI 路由和 WebSocket,方便被其他应用调用。
3本地隐私
模型和数据都在本地运行,不依赖云端 API。
4容器部署
提供开发版和发布版 Docker Compose 文件。
5原生边车
通过 llama.cpp 和 whisper.cpp 边车运行 LLM 与语音模型。
适用场景
本地 AI 后端
例如:给自己的桌面工具接一个本地图像生成和聊天接口。
隐私敏感场景
例如:在断网机器上处理语音转写和文本生成。
自动化工作流
例如:用 HTTP API 把语音识别和 LLM 串成处理流水线。
它是怎么工作的
第 1 步
启动守护进程
运行 headless 服务,默认只监听本机回环地址。
第 2 步
加载模型
按需下载并加载图像、LLM、语音等模型 worker。
第 3 步
调用接口
通过 FastAPI 的 HTTP 或 WebSocket 接口提交任务。
第 4 步
编排执行
运行时负责调度模型、持久化结果并返回输出。
快速上手
- 1
创建环境
需要 Python 3.13.3 及以上,用 uv 建虚拟环境。
uv venv --python 3.13 .venv - 2
安装依赖
从仓库检出目录安装 services 和 native 包。
uv pip install --python .venv/bin/python -e "./services[development]" -e ./native - 3
Docker 运行
用发布版 compose 文件启动无界面服务。
docker compose -f docker-compose.release.yml run --rm --service-ports airunner - 4
健康检查
服务启动后访问健康检查端点确认状态。
适合谁
- 需要本地多模态推理后端的开发者
- 能处理 Python 依赖和 Docker 的工程师
- 对数据隐私有要求的团队
不太适合
- 想要开箱即用桌面应用的用户
- 不熟悉命令行和环境配置的新手
成熟度
- 活跃度最近仍有提交,但项目由单人维护。
- 文档README 详细但偏发布流程,缺少完整硬件支持说明。
- 社区约 1300 star、100 fork,贡献者集中。
- 上手难度依赖部分无法从公共索引解析,安装步骤复杂。
同类项目怎么选
- ComfyUI偏图像生成工作流,不覆盖语音和 LLM 服务。
- Ollama专注本地 LLM 推理,不含图像和语音能力。
- LocalAI同样提供本地多模态 API,但社区和生态更成熟。
使用前注意
- · GPL-3.0-only 许可,商用集成需评估合规。
- · 部分依赖包在 PyPI 发布暂停,安装可能失败。
- · TTS 相关 extras 依赖未解决的 airunner-tts-vendor。
- · 对外网暴露服务需设置 AIRUNNER_API_KEY,勿用 --insecure-no-auth。
