AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 React Native 应用中本地运行大语言模型的绑定库。
llama.rn 是 llama.cpp 的 React Native 绑定,让开发者在 iOS 和 Android 应用里直接加载 GGUF 模型做推理。它支持 GPU/NPU 加速、多模态、工具调用和结构化输出,从 v0.10 起要求 React Native 新架构。
推荐指数
想在移动端离线跑 LLM 的 React Native 开发者值得关注,但需接受新架构限制和实验性功能。
总 Star 排名
#3374
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年8月2日
核心亮点
1移动端本地推理
基于 llama.cpp,在 iOS/Android 设备上直接运行 GGUF 模型,无需联网。
2GPU/NPU 加速
iOS 用 Metal,Android 可选 OpenCL 或实验性 Hexagon NPU 加速。
3多模态与 TTS
通过 mmproj 支持视觉/音频理解,实验性支持多种神经 TTS 模型。
4结构化输出
支持 GBNF 语法和 JSON schema 约束生成,以及 Jinja 模板工具调用。
5并行解码
基于 slot 的并发请求处理,自带队列管理。
适用场景
离线聊天应用
例如:在 React Native 聊天 App 中加载 GGUF 模型,实现无网络环境下的对话。
端侧多模态理解
例如:结合视觉投影器,让 App 在本地识别图片内容并生成描述。
语音交互
例如:用实验性 TTS 功能在设备上合成语音,配合语音克隆。
结构化数据提取
例如:用 JSON schema 约束模型输出,从用户输入中提取固定格式信息。
它是怎么工作的
第 1 步
安装依赖
npm 安装后,postinstall 自动下载预编译的 iOS/Android 原生库。
第 2 步
准备模型
从 HuggingFace 获取 GGUF 格式模型文件,放入应用可访问路径。
第 3 步
初始化上下文
调用 initLlama 加载模型,可配置上下文长度、GPU 层数等参数。
第 4 步
执行推理
通过 context.completion 进行对话或文本补全,支持流式回调。
快速上手
- 1
安装包
在 React Native 项目中安装 llama.rn。
npm install llama.rn - 2
iOS 安装 Pod
安装后重新运行 pod-install 以集成原生框架。
npx pod-install - 3
加载模型并推理
用 initLlama 初始化上下文,再调用 completion 生成回复。
适合谁
- 使用 React Native 新架构的移动开发者
- 需要在 App 内离线运行 LLM 的团队
- 想利用手机 GPU/NPU 加速推理的开发者
不太适合
- 仍在使用 React Native 旧架构的项目(需 v0.9 分支)
- 不熟悉原生构建和模型量化的纯前端开发者
成熟度
- 活跃度最近更新在 2026 年 11 月,持续维护中。
- 文档README 覆盖安装、配置和基本用法,有示例项目。
- 社区约 1074 star、136 fork,14 个开放 issue,规模中等。
- 上手难度需处理原生依赖、模型文件和平台配置,有一定门槛。
同类项目怎么选
- llama.cpp底层 C/C++ 推理引擎,llama.rn 是其 React Native 绑定。
- react-native-llm另一个 React Native 本地 LLM 方案,具体差异需自行对比。
使用前注意
- · v0.10 起要求 React Native 新架构,旧项目需用 v0.9 分支。
- · Android 的 Hexagon NPU 和 TTS 功能标记为实验性,稳定性待验证。
- · 需自行获取 GGUF 模型文件,模型大小影响设备内存和性能。
- · MIT 许可证,商用需保留版权声明。
