mybigday GitHub avatar

llama.rn

C
llama.cpp 移动端绑定mybigday最近推送 2026年11月19日
模型推理与部署MIT1,07313715 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 React Native 应用中本地运行大语言模型的绑定库。

llama.rn 是 llama.cpp 的 React Native 绑定,让开发者在 iOS 和 Android 应用里直接加载 GGUF 模型做推理。它支持 GPU/NPU 加速、多模态、工具调用和结构化输出,从 v0.10 起要求 React Native 新架构。

推荐指数

4.0

想在移动端离线跑 LLM 的 React Native 开发者值得关注,但需接受新架构限制和实验性功能。

总 Star 排名

#3374

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月2日

核心亮点

  • 1移动端本地推理

    基于 llama.cpp,在 iOS/Android 设备上直接运行 GGUF 模型,无需联网。

  • 2GPU/NPU 加速

    iOS 用 Metal,Android 可选 OpenCL 或实验性 Hexagon NPU 加速。

  • 3多模态与 TTS

    通过 mmproj 支持视觉/音频理解,实验性支持多种神经 TTS 模型。

  • 4结构化输出

    支持 GBNF 语法和 JSON schema 约束生成,以及 Jinja 模板工具调用。

  • 5并行解码

    基于 slot 的并发请求处理,自带队列管理。

适用场景

  • 离线聊天应用

    例如:在 React Native 聊天 App 中加载 GGUF 模型,实现无网络环境下的对话。

  • 端侧多模态理解

    例如:结合视觉投影器,让 App 在本地识别图片内容并生成描述。

  • 语音交互

    例如:用实验性 TTS 功能在设备上合成语音,配合语音克隆。

  • 结构化数据提取

    例如:用 JSON schema 约束模型输出,从用户输入中提取固定格式信息。

它是怎么工作的

  1. 第 1 步

    安装依赖

    npm 安装后,postinstall 自动下载预编译的 iOS/Android 原生库。

  2. 第 2 步

    准备模型

    从 HuggingFace 获取 GGUF 格式模型文件,放入应用可访问路径。

  3. 第 3 步

    初始化上下文

    调用 initLlama 加载模型,可配置上下文长度、GPU 层数等参数。

  4. 第 4 步

    执行推理

    通过 context.completion 进行对话或文本补全,支持流式回调。

快速上手

  1. 1

    安装包

    在 React Native 项目中安装 llama.rn。

    npm install llama.rn
  2. 2

    iOS 安装 Pod

    安装后重新运行 pod-install 以集成原生框架。

    npx pod-install
  3. 3

    加载模型并推理

    用 initLlama 初始化上下文,再调用 completion 生成回复。

适合谁

  • 使用 React Native 新架构的移动开发者
  • 需要在 App 内离线运行 LLM 的团队
  • 想利用手机 GPU/NPU 加速推理的开发者

不太适合

  • 仍在使用 React Native 旧架构的项目(需 v0.9 分支)
  • 不熟悉原生构建和模型量化的纯前端开发者

成熟度

  • 活跃度最近更新在 2026 年 11 月,持续维护中。
  • 文档README 覆盖安装、配置和基本用法,有示例项目。
  • 社区约 1074 star、136 fork,14 个开放 issue,规模中等。
  • 上手难度需处理原生依赖、模型文件和平台配置,有一定门槛。

同类项目怎么选

  • llama.cpp底层 C/C++ 推理引擎,llama.rn 是其 React Native 绑定。
  • react-native-llm另一个 React Native 本地 LLM 方案,具体差异需自行对比。

使用前注意

  • · v0.10 起要求 React Native 新架构,旧项目需用 v0.9 分支。
  • · Android 的 Hexagon NPU 和 TTS 功能标记为实验性,稳定性待验证。
  • · 需自行获取 GGUF 模型文件,模型大小影响设备内存和性能。
  • · MIT 许可证,商用需保留版权声明。

主题标签

llamallama-cppllmreact-nativeandroidios