nobodywho-ooo GitHub avatar

nobodywho

Rust
本地大模型推理引擎nobodywho-ooo最近推送 2026年11月18日
模型推理与部署EUPL-1.21,69210220 issues7 天 +17

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 Rust 写的本地大模型推理引擎,提供多语言绑定,让应用离线跑 LLM。

NobodyWho 是一个推理引擎,目标是让开发者在任意设备上本地、高效地运行大语言模型,无需 API Key 和在线服务。它用 Rust 实现核心,底层基于 llama.cpp 做文本、视觉、嵌入等推理,基于 ONNX Runtime 做语音识别、语音合成和语音活动检测。仓库提供 Kotlin、Swift、React Native/Expo、Flutter、Python、Godot 六种绑定,覆盖桌面、Android、iOS、visionOS、watchOS 等平台。

推荐指数

4.0

多语言绑定齐全、端侧场景明确的本地 LLM 引擎,适合游戏和移动应用集成,但需注意平台缺口和内存门槛。

近 7 天

+17

新增 Star

总 Star 排名

#2533

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年9月3日

核心亮点

  • 1多语言绑定

    Kotlin、Swift、React Native、Flutter、Python、Godot 六种绑定,覆盖主流端侧开发栈。

  • 2完全离线

    模型本地运行,不需要 API Key,也没有调用费用。

  • 3工具调用

    根据函数签名自动生成结构化语法,无需手写 schema。

  • 4多模态与语音

    支持图像、音频输入,以及 Whisper 语音识别、Kokoro 等语音合成和 Silero 语音活动检测。

  • 5GGUF 兼容

    支持任意 GGUF 格式模型,可从 Hugging Face 或 URL 直接下载并缓存。

适用场景

  • 游戏内 NPC 对话

    例如:在 Godot 桌面或 Android 游戏中接入本地模型,让 NPC 根据玩家输入生成对话。

  • 移动端离线助手

    例如:用 Flutter 或 React Native 绑定在手机上运行 Qwen3 0.6B,实现无网络的聊天功能。

  • 语音交互应用

    例如:结合 Whisper 语音识别和 Kokoro 语音合成,做一个本地语音助手。

  • 桌面 Python 原型

    例如:用 pip 安装 nobodywho,在 Python 中快速验证本地模型效果。

它是怎么工作的

  1. 第 1 步

    选择绑定

    按目标平台选用 Kotlin、Swift、React Native、Flutter、Python 或 Godot 绑定。

  2. 第 2 步

    加载模型

    传入 Hugging Face 引用、HTTPS URL 或本地路径,远程模型首次使用时下载并缓存。

  3. 第 3 步

    核心推理

    Rust 核心负责对话、模板、语法、采样和上下文切换,调用 llama.cpp 或 ONNX Runtime 执行。

  4. 第 4 步

    硬件加速

    通过 Vulkan 或 Metal 使用 GPU,显存不足时自动把剩余层放到 CPU。

快速上手

  1. 1

    安装 Python 包

    用 pip 安装 nobodywho。

    pip install nobodywho
  2. 2

    创建对话对象

    导入 Chat 并传入模型引用,例如 Hugging Face 上的 Qwen3 0.6B。

    from nobodywho import Chat
    chat = Chat('hf:NobodyWho/Qwen_Qwen3-0.6B-GGUF')
  3. 3

    按平台安装其他绑定

    Kotlin 走 Maven Central,Swift 走 SPM,React Native 走 npm,Flutter 走 pub.dev,Godot 走 AssetLib。

适合谁

  • 做 Godot 游戏的开发者
  • 移动端和桌面应用开发者
  • 需要离线或隐私敏感场景的团队
  • 想用 Python 快速验证本地模型的开发者

不太适合

  • 需要 Web 端部署的项目
  • Windows ARM64 用户
  • 内存低于 4 GB 的移动设备用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仓库持续更新。
  • 文档有独立文档站,按语言分栏,README 说明平台和内存要求。
  • 社区约 1679 star、102 fork,有 Discord 和 Matrix 频道,规模中等。
  • 上手难度安装简单,但需自行处理模型选择、内存和平台限制。

同类项目怎么选

  • llama.cpp底层推理库,NobodyWho 在其上封装了多语言绑定和语音能力。
  • Ollama偏桌面本地模型服务和管理,NobodyWho 更侧重嵌入应用到游戏和移动端。
  • llamafile把模型和运行时打包成单文件可执行程序,不提供多语言 SDK 绑定。

使用前注意

  • · 许可证为 EUPL-1.2,商用前需确认合规要求。
  • · Godot 不支持 iOS 导出,Windows ARM64 和 Web 导出暂不支持。
  • · 设备可用内存约为模型文件的两倍,大模型对手机压力明显。
  • · 模型需自行选择 GGUF 文件,量化版本会影响效果和速度。

主题标签

godotgodot-enginegodot-plugingodot4llminference-enginepythonpython-llmslmflutteron-device-aiaireact-nativekotlinswiftsttttsexpogguflocal-llm