AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 Rust 写的本地大模型推理引擎,提供多语言绑定,让应用离线跑 LLM。
NobodyWho 是一个推理引擎,目标是让开发者在任意设备上本地、高效地运行大语言模型,无需 API Key 和在线服务。它用 Rust 实现核心,底层基于 llama.cpp 做文本、视觉、嵌入等推理,基于 ONNX Runtime 做语音识别、语音合成和语音活动检测。仓库提供 Kotlin、Swift、React Native/Expo、Flutter、Python、Godot 六种绑定,覆盖桌面、Android、iOS、visionOS、watchOS 等平台。
推荐指数
多语言绑定齐全、端侧场景明确的本地 LLM 引擎,适合游戏和移动应用集成,但需注意平台缺口和内存门槛。
近 7 天
+17
新增 Star
总 Star 排名
#2533
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年9月3日
核心亮点
1多语言绑定
Kotlin、Swift、React Native、Flutter、Python、Godot 六种绑定,覆盖主流端侧开发栈。
2完全离线
模型本地运行,不需要 API Key,也没有调用费用。
3工具调用
根据函数签名自动生成结构化语法,无需手写 schema。
4多模态与语音
支持图像、音频输入,以及 Whisper 语音识别、Kokoro 等语音合成和 Silero 语音活动检测。
5GGUF 兼容
支持任意 GGUF 格式模型,可从 Hugging Face 或 URL 直接下载并缓存。
适用场景
游戏内 NPC 对话
例如:在 Godot 桌面或 Android 游戏中接入本地模型,让 NPC 根据玩家输入生成对话。
移动端离线助手
例如:用 Flutter 或 React Native 绑定在手机上运行 Qwen3 0.6B,实现无网络的聊天功能。
语音交互应用
例如:结合 Whisper 语音识别和 Kokoro 语音合成,做一个本地语音助手。
桌面 Python 原型
例如:用 pip 安装 nobodywho,在 Python 中快速验证本地模型效果。
它是怎么工作的
第 1 步
选择绑定
按目标平台选用 Kotlin、Swift、React Native、Flutter、Python 或 Godot 绑定。
第 2 步
加载模型
传入 Hugging Face 引用、HTTPS URL 或本地路径,远程模型首次使用时下载并缓存。
第 3 步
核心推理
Rust 核心负责对话、模板、语法、采样和上下文切换,调用 llama.cpp 或 ONNX Runtime 执行。
第 4 步
硬件加速
通过 Vulkan 或 Metal 使用 GPU,显存不足时自动把剩余层放到 CPU。
快速上手
- 1
安装 Python 包
用 pip 安装 nobodywho。
pip install nobodywho - 2
创建对话对象
导入 Chat 并传入模型引用,例如 Hugging Face 上的 Qwen3 0.6B。
from nobodywho import Chat chat = Chat('hf:NobodyWho/Qwen_Qwen3-0.6B-GGUF') - 3
按平台安装其他绑定
Kotlin 走 Maven Central,Swift 走 SPM,React Native 走 npm,Flutter 走 pub.dev,Godot 走 AssetLib。
适合谁
- 做 Godot 游戏的开发者
- 移动端和桌面应用开发者
- 需要离线或隐私敏感场景的团队
- 想用 Python 快速验证本地模型的开发者
不太适合
- 需要 Web 端部署的项目
- Windows ARM64 用户
- 内存低于 4 GB 的移动设备用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,仓库持续更新。
- 文档有独立文档站,按语言分栏,README 说明平台和内存要求。
- 社区约 1679 star、102 fork,有 Discord 和 Matrix 频道,规模中等。
- 上手难度安装简单,但需自行处理模型选择、内存和平台限制。
同类项目怎么选
- llama.cpp底层推理库,NobodyWho 在其上封装了多语言绑定和语音能力。
- Ollama偏桌面本地模型服务和管理,NobodyWho 更侧重嵌入应用到游戏和移动端。
- llamafile把模型和运行时打包成单文件可执行程序,不提供多语言 SDK 绑定。
使用前注意
- · 许可证为 EUPL-1.2,商用前需确认合规要求。
- · Godot 不支持 iOS 导出,Windows ARM64 和 Web 导出暂不支持。
- · 设备可用内存约为模型文件的两倍,大模型对手机压力明显。
- · 模型需自行选择 GGUF 文件,量化版本会影响效果和速度。
