AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一套跨平台 SDK,让开发者在手机、浏览器和桌面上本地运行大模型、语音和视觉 AI。
RunAnywhere 是一个生产可用的本地 AI 推理工具包,用同一个 C++ 核心封装出 Swift、Kotlin、Flutter、React Native、Web 等八个 SDK。它把 LLM 对话、语音识别与合成、视觉理解、RAG、向量嵌入和图像生成统一到一套语义 API 下,代码不用关心底层硬件,由能力注册表自动选择设备上最合适的推理引擎。
推荐指数
功能覆盖广、跨端统一,适合认真做端侧 AI 产品的团队,但需接受自定义许可和较新的生态。
近 7 天
+7
新增 Star
总 Star 排名
#665
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年7月22日
核心亮点
1一套 API 多端
iOS、Android、Flutter、React Native、Web、桌面共用同一套调用方式。
2能力覆盖全
LLM、语音、视觉、RAG、嵌入、图像生成都在本地跑。
3自动选硬件
按设备能力路由到 Hexagon NPU、Apple 神经引擎、Metal、CUDA、WebGPU 或 CPU。
4隐私与离线
默认数据不出设备,无网络也能推理。
5Python 快速验证
pip 安装后几行代码即可跑通本地模型。
适用场景
移动端离线助手
例如:在 Android 或 iOS App 内嵌本地 LLM,无网环境下做问答和摘要。
语音交互应用
例如:用 VAD+STT+LLM+TTS 管线做一个完全离线的语音助手。
端侧文档问答
例如:在设备上对本地文档做 RAG 检索并生成回答。
多端统一产品
例如:同一套业务逻辑同时发布 iOS、Android 和 Web 版本。
它是怎么工作的
第 1 步
统一 API 层
各语言 SDK 暴露相同的语义接口,屏蔽平台差异。
第 2 步
能力注册
引擎注册自己能跑的能力,调用时按设备匹配。
第 3 步
引擎路由
优先选 NPU、MLX、llama.cpp、sherpa+ONNX、Core ML 等后端。
第 4 步
本地推理
模型在设备上加载执行,结果流式返回给应用。
快速上手
- 1
安装 Python 包
用 pip 安装即可开始本地推理。
pip install runanywhere - 2
初始化并生成
初始化后调用 llm.generate,首次使用会自动下载模型。
- 3
或用命令行
安装 wally CLI 后直接在终端跑模型。
curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/wally/main/install.sh | sh - 4
移动端接入
Swift 用 SPM 添加仓库,注册 LlamaCPP 后加载模型生成。
适合谁
- 做端侧 AI 的移动开发者
- 需要离线隐私方案的产品团队
- 想跨 iOS/Android/Web 复用代码的团队
- 做语音或多模态应用的开发者
不太适合
- 只想调云端 API 的轻量项目
- 需要成熟稳定长期支持的企业用户
成熟度
- 活跃度2025 年创建,最近一次提交在 2026 年 11 月,迭代活跃。
- 文档README 含架构图、多语言示例和文档站链接,信息较完整。
- 社区约 1 万 star、400 多 fork,有 Discord 和 232 个开放 issue。
- 上手难度pip 一行即可试用,移动端需按平台接入 SDK。
同类项目怎么选
- llama.cpp偏底层推理引擎,需自己封装多端与语音视觉能力。
- MLC LLM侧重多平台 LLM 编译部署,语音和图像生成覆盖较少。
- ONNX Runtime通用推理框架,不提供统一的 AI 能力语义 API。
使用前注意
- · 许可证为自定义 RunAnywhere License,商用前需确认条款。
- · 部分能力受平台和后端限制,如 NPU 图像修复、CUDA 需自行编译。
- · README 明确唤醒词检测尚未实现,LiteRT/ExecuTorch 只是预留值。
- · 端侧模型体积和内存占用需按设备评估。
