RunanywhereAI GitHub avatar

runanywhere-sdks

C++
端侧 AI 运行工具包RunanywhereAI最近推送 2026年11月11日
模型推理与部署NOASSERTION10.3k418239 issues7 天 +7

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一套跨平台 SDK,让开发者在手机、浏览器和桌面上本地运行大模型、语音和视觉 AI。

RunAnywhere 是一个生产可用的本地 AI 推理工具包,用同一个 C++ 核心封装出 Swift、Kotlin、Flutter、React Native、Web 等八个 SDK。它把 LLM 对话、语音识别与合成、视觉理解、RAG、向量嵌入和图像生成统一到一套语义 API 下,代码不用关心底层硬件,由能力注册表自动选择设备上最合适的推理引擎。

推荐指数

4.0

功能覆盖广、跨端统一,适合认真做端侧 AI 产品的团队,但需接受自定义许可和较新的生态。

近 7 天

+7

新增 Star

总 Star 排名

#665

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年7月22日

核心亮点

  • 1一套 API 多端

    iOS、Android、Flutter、React Native、Web、桌面共用同一套调用方式。

  • 2能力覆盖全

    LLM、语音、视觉、RAG、嵌入、图像生成都在本地跑。

  • 3自动选硬件

    按设备能力路由到 Hexagon NPU、Apple 神经引擎、Metal、CUDA、WebGPU 或 CPU。

  • 4隐私与离线

    默认数据不出设备,无网络也能推理。

  • 5Python 快速验证

    pip 安装后几行代码即可跑通本地模型。

适用场景

  • 移动端离线助手

    例如:在 Android 或 iOS App 内嵌本地 LLM,无网环境下做问答和摘要。

  • 语音交互应用

    例如:用 VAD+STT+LLM+TTS 管线做一个完全离线的语音助手。

  • 端侧文档问答

    例如:在设备上对本地文档做 RAG 检索并生成回答。

  • 多端统一产品

    例如:同一套业务逻辑同时发布 iOS、Android 和 Web 版本。

它是怎么工作的

  1. 第 1 步

    统一 API 层

    各语言 SDK 暴露相同的语义接口,屏蔽平台差异。

  2. 第 2 步

    能力注册

    引擎注册自己能跑的能力,调用时按设备匹配。

  3. 第 3 步

    引擎路由

    优先选 NPU、MLX、llama.cpp、sherpa+ONNX、Core ML 等后端。

  4. 第 4 步

    本地推理

    模型在设备上加载执行,结果流式返回给应用。

快速上手

  1. 1

    安装 Python 包

    用 pip 安装即可开始本地推理。

    pip install runanywhere
  2. 2

    初始化并生成

    初始化后调用 llm.generate,首次使用会自动下载模型。

  3. 3

    或用命令行

    安装 wally CLI 后直接在终端跑模型。

    curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/wally/main/install.sh | sh
  4. 4

    移动端接入

    Swift 用 SPM 添加仓库,注册 LlamaCPP 后加载模型生成。

适合谁

  • 做端侧 AI 的移动开发者
  • 需要离线隐私方案的产品团队
  • 想跨 iOS/Android/Web 复用代码的团队
  • 做语音或多模态应用的开发者

不太适合

  • 只想调云端 API 的轻量项目
  • 需要成熟稳定长期支持的企业用户

成熟度

  • 活跃度2025 年创建,最近一次提交在 2026 年 11 月,迭代活跃。
  • 文档README 含架构图、多语言示例和文档站链接,信息较完整。
  • 社区约 1 万 star、400 多 fork,有 Discord 和 232 个开放 issue。
  • 上手难度pip 一行即可试用,移动端需按平台接入 SDK。

同类项目怎么选

  • llama.cpp偏底层推理引擎,需自己封装多端与语音视觉能力。
  • MLC LLM侧重多平台 LLM 编译部署,语音和图像生成覆盖较少。
  • ONNX Runtime通用推理框架,不提供统一的 AI 能力语义 API。

使用前注意

  • · 许可证为自定义 RunAnywhere License,商用前需确认条款。
  • · 部分能力受平台和后端限制,如 NPU 图像修复、CUDA 需自行编译。
  • · README 明确唤醒词检测尚未实现,LiteRT/ExecuTorch 只是预留值。
  • · 端侧模型体积和内存占用需按设备评估。

主题标签

ioskotlinllmswiftinferencemultimodalon-device-aivoice-aiandroidedgellamacppapple-intelligenceollamacppdiffusion-modelsflutterreact-nativevlmwebwebsdk