AtomicBot-ai GitHub avatar

Atomic-Chat

TypeScript
本地大模型运行工具AtomicBot-ai最近推送 2026年11月20日
模型推理与部署NOASSERTION2,03223478 issues7 天 +40

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

本地运行开源大模型的桌面应用与推理引擎,可离线使用并对外提供 OpenAI 兼容 API。

Atomic Chat 是一个用 TypeScript 和 Tauri 构建的桌面 AI 应用,同时内置推理引擎,可在本机运行 HuggingFace 上的开放权重模型(如 Llama、Gemma、Qwen、Mistral、Phi)。它面向 Agent 场景,提供 OpenAI 兼容的本地服务,也支持接入 OpenAI、Anthropic 等云端模型,本地与云端可自由切换。

推荐指数

4.0

功能完整的本地 LLM 桌面客户端,自带推理引擎和 OpenAI 兼容 API,适合想离线用模型又不想折腾命令行的开发者。

近 7 天

+40

新增 Star

总 Star 排名

#2285

雷达追踪的 3,971 个 AI 仓库中

创建于

2026

2026年3月31日

核心亮点

  • 1本地推理

    直接在本机运行开放权重模型,数据不出设备。

  • 2OpenAI 兼容 API

    在 localhost:1337/v1 提供接口,现有 SDK 改 base_url 即可用。

  • 3多平台客户端

    提供 macOS、Windows、Linux 桌面版及 iOS、Android 移动端。

  • 4Agent 一键启动

    可从集成页一键拉起 Claude Code、Cline、Goose 等 Agent 工具。

  • 5推理加速选项

    支持投机解码、Flash Attention、KV 缓存压缩等优化开关。

适用场景

  • 隐私敏感的本地对话

    例如:在断网环境下用 Gemma 或 Qwen 处理内部文档问答。

  • 给现有工具接本地模型

    例如:把 Cline 或 IDE 插件的 base_url 指向 localhost:1337/v1 使用本地模型。

  • 本地与云端混用

    例如:简单任务走本地模型,复杂任务切换到自带 API Key 的云端模型。

  • Agent 工具试验

    例如:从集成页一键启动 OpenHands 等 Agent,连接本地 MCP 服务器。

它是怎么工作的

  1. 第 1 步

    安装客户端

    从 Releases 下载对应平台安装包,或通过包管理器安装 Linux 版本。

  2. 第 2 步

    加载模型

    在应用内选择并加载 HuggingFace 上的开放权重模型。

  3. 第 3 步

    本地推理

    由内置推理引擎(llama.cpp / MLX 等后端)在设备上执行推理。

  4. 第 4 步

    对外提供接口

    应用启动 OpenAI 兼容服务,默认仅绑定 127.0.0.1。

  5. 第 5 步

    接入外部工具

    任意支持 OpenAI API 的 Agent、CLI 或 IDE 插件指向该地址即可。

快速上手

  1. 1

    下载安装

    按平台从 GitHub Releases 下载 dmg、exe 或 AppImage。

  2. 2

    加载模型

    打开应用,选择一个开放权重模型加载。

  3. 3

    调用本地 API

    用 curl 测试本地 OpenAI 兼容接口。

    curl http://localhost:1337/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"<model-id-loaded-in-atomic-chat>","messages":[{"role":"user","content":"Say hello in one word"}]}'
  4. 4

    Python 接入

    用 openai SDK 把 base_url 指向本地服务。

    client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")

适合谁

  • 希望离线使用大模型的个人开发者
  • 需要给 Agent 或 IDE 插件接本地模型的用户
  • 重视数据隐私、不想把内容发到云端的用户

不太适合

  • 需要大规模多用户部署的团队
  • 只想用命令行、不需要图形界面的用户

成熟度

  • 活跃度最近一次提交在 2026-11,仓库仍在持续更新。
  • 文档README 覆盖下载、API 和功能,但缺少完整的开发与配置文档。
  • 社区约 2000 star、233 fork,有 Discord 社区,但 issue 仍有 76 个未关闭。
  • 上手难度提供各平台安装包,下载即用,无需自行编译。

同类项目怎么选

  • Ollama以命令行和本地服务为主,Atomic Chat 额外提供桌面 GUI 和 Agent 集成。
  • LM Studio同为桌面本地模型客户端,Atomic Chat 开源且强调 OpenAI 兼容 API 与 Agent 启动。
  • Jan同为开源本地 AI 桌面应用,Atomic Chat 更侧重推理加速与 Agent 工具接入。

使用前注意

  • · 许可证为 NOASSERTION,使用或分发前需自行确认具体条款。
  • · 本地运行大模型对内存和显存有要求,模型越大硬件门槛越高。
  • · 本地 API 默认只绑定 127.0.0.1,改为 0.0.0.0 暴露到局域网时需注意访问控制。
  • · README 中部分加速特性标注了特定模型和平台限制,实际效果因硬件而异。

主题标签

ai-chatai-toolsapple-siliconchatgptdeepseekdesktop-appgemmaggufgpt-ossllamacppllmllm-inferencelocal-ailocal-firstlocal-llmmcpmlxopen-sourceqwenself-hosted