off-grid-ai GitHub avatar

OGAM

TypeScript
离线本地 AI 工具箱off-grid-ai最近推送 2026年11月19日
模型推理与部署MIT3,396338146 issues7 天 +31

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一款在手机和 Mac 上离线运行聊天、看图、语音和生图的本地 AI 应用。

Off Grid AI 是一个基于 TypeScript 和 React Native 的端侧 AI 应用,支持 Android、iOS 和 macOS。它把 GGUF 大模型对话、视觉理解、Whisper 语音转文字、Stable Diffusion 生图和工具调用整合在一个 App 里,全部在本地 CPU、GPU 或 NPU 上运行,不需要账号和 API Key,数据不出设备。

推荐指数

4.0

功能覆盖全面的端侧 AI 套件,适合想在手机上离线用 AI 的开发者,但部分高级功能需付费。

近 7 天

+31

新增 Star

总 Star 排名

#1640

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年1月29日

核心亮点

  • 1多模态一体

    文本、图像生成、视觉问答、语音转写和文档分析都在同一个 App 内完成。

  • 2硬件加速

    支持 Adreno GPU、Apple Metal 和实验性 Hexagon NPU,并自动选择最快后端。

  • 3完全离线

    无需账号和 API Key,聊天与文件不离开设备,统计默认关闭。

  • 4工具调用

    内置搜索、计算器、日期时间和知识库检索,支持自动工具循环。

  • 5远程服务器

    可连接局域网内 OpenAI 兼容服务,如 Ollama、LM Studio、LocalAI。

适用场景

  • 隐私敏感场景

    例如:在无网络的手机上分析合同 PDF,内容不上传云端。

  • 移动端 AI 开发验证

    例如:用手机跑 Qwen 或 Llama 的 GGUF 模型,测试端侧推理速度。

  • 离线图像创作

    例如:在 Snapdragon 设备上用 Stable Diffusion 本地生成图片。

  • 局域网模型接入

    例如:连接家中 Mac 上的 Ollama,手机端直接对话。

它是怎么工作的

  1. 第 1 步

    加载模型

    用户选择或导入 GGUF 模型文件,应用按设备能力选择 CPU、GPU 或 NPU 后端。

  2. 第 2 步

    本地推理

    通过 llama.cpp 等底层库在设备上执行文本生成、视觉或语音推理。

  3. 第 3 步

    知识库检索

    上传的 PDF 和文本被分块,用内置 MiniLM 模型在本地生成向量并存入 SQLite。

  4. 第 4 步

    工具调用

    支持函数调用的模型可调用内置工具,应用自动管理工具循环。

  5. 第 5 步

    可选远程连接

    也可切换到局域网内 OpenAI 兼容服务器,流式接收响应。

快速上手

  1. 1

    下载安装

    从 Google Play 或 App Store 安装官方 App。

  2. 2

    选择模型

    在模型列表中选择带 GPU 或 NPU 标记的 GGUF 模型下载。

  3. 3

    开始对话

    进入聊天界面直接提问,或导入自己的 .gguf 文件。

  4. 4

    连接远程服务

    如需局域网服务器,在设置中填入 OpenAI 兼容地址和密钥。

适合谁

  • 想在手机上离线使用大模型的普通用户
  • 关注数据隐私、不愿上传云端的开发者
  • 需要验证端侧推理性能的移动 AI 开发者

不太适合

  • 需要云端大规模模型能力的用户
  • 不愿为语音、人设等高级功能付费的用户

成熟度

  • 活跃度2026 年 1 月创建,11 月仍有推送,star 约 3.4k。
  • 文档README 覆盖功能、平台和 Pro 说明,并有分析、Mesh 等文档链接。
  • 社区有 338 fork 和 145 个开放 issue,提供 Slack 社区,但规模仍属中等。
  • 上手难度提供应用商店安装包,开箱即用,无需配置开发环境。

同类项目怎么选

  • Ollama面向桌面和服务器,命令行管理模型,不提供移动端多模态 App。
  • LM Studio桌面端图形界面,侧重模型管理和本地 API,无手机端离线套件。
  • PocketPal AI移动端本地 LLM 聊天应用,功能集中在文本对话,不含生图和语音套件。

使用前注意

  • · MIT 许可,但语音、人设、MCP 工具和 Mesh 同步等高级功能需购买 Pro(119 美元买断或 7.99 美元/月)。
  • · NPU 加速标记为实验性,仅支持 Q4_0 和 Q8_0 量化,部分模型可能输出异常。
  • · 大模型和图像模型体积可达数 GB,对设备存储和内存有要求。
  • · 远程服务器和 MCP 连接涉及局域网与第三方服务,需自行评估安全边界。

主题标签

privacy-firstggufllama-cpplocal-aiedge-aioffline-llmstable-diffusion-androidwhisper-androidoffline-aimobile-aiondeviceondevice-aitool-callingandroidiosmacosmcpreact-nativevision-language-modelwhisper-cpp