AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
本地运行开源大模型的桌面应用与推理引擎,可离线使用并对外提供 OpenAI 兼容 API。
Atomic Chat 是一个用 TypeScript 和 Tauri 构建的桌面 AI 应用,同时内置推理引擎,可在本机运行 HuggingFace 上的开放权重模型(如 Llama、Gemma、Qwen、Mistral、Phi)。它面向 Agent 场景,提供 OpenAI 兼容的本地服务,也支持接入 OpenAI、Anthropic 等云端模型,本地与云端可自由切换。
推荐指数
功能完整的本地 LLM 桌面客户端,自带推理引擎和 OpenAI 兼容 API,适合想离线用模型又不想折腾命令行的开发者。
近 7 天
+40
新增 Star
总 Star 排名
#2285
雷达追踪的 3,971 个 AI 仓库中
创建于
2026
2026年3月31日
核心亮点
1本地推理
直接在本机运行开放权重模型,数据不出设备。
2OpenAI 兼容 API
在 localhost:1337/v1 提供接口,现有 SDK 改 base_url 即可用。
3多平台客户端
提供 macOS、Windows、Linux 桌面版及 iOS、Android 移动端。
4Agent 一键启动
可从集成页一键拉起 Claude Code、Cline、Goose 等 Agent 工具。
5推理加速选项
支持投机解码、Flash Attention、KV 缓存压缩等优化开关。
适用场景
隐私敏感的本地对话
例如:在断网环境下用 Gemma 或 Qwen 处理内部文档问答。
给现有工具接本地模型
例如:把 Cline 或 IDE 插件的 base_url 指向 localhost:1337/v1 使用本地模型。
本地与云端混用
例如:简单任务走本地模型,复杂任务切换到自带 API Key 的云端模型。
Agent 工具试验
例如:从集成页一键启动 OpenHands 等 Agent,连接本地 MCP 服务器。
它是怎么工作的
第 1 步
安装客户端
从 Releases 下载对应平台安装包,或通过包管理器安装 Linux 版本。
第 2 步
加载模型
在应用内选择并加载 HuggingFace 上的开放权重模型。
第 3 步
本地推理
由内置推理引擎(llama.cpp / MLX 等后端)在设备上执行推理。
第 4 步
对外提供接口
应用启动 OpenAI 兼容服务,默认仅绑定 127.0.0.1。
第 5 步
接入外部工具
任意支持 OpenAI API 的 Agent、CLI 或 IDE 插件指向该地址即可。
快速上手
- 1
下载安装
按平台从 GitHub Releases 下载 dmg、exe 或 AppImage。
- 2
加载模型
打开应用,选择一个开放权重模型加载。
- 3
调用本地 API
用 curl 测试本地 OpenAI 兼容接口。
curl http://localhost:1337/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"<model-id-loaded-in-atomic-chat>","messages":[{"role":"user","content":"Say hello in one word"}]}' - 4
Python 接入
用 openai SDK 把 base_url 指向本地服务。
client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")
适合谁
- 希望离线使用大模型的个人开发者
- 需要给 Agent 或 IDE 插件接本地模型的用户
- 重视数据隐私、不想把内容发到云端的用户
不太适合
- 需要大规模多用户部署的团队
- 只想用命令行、不需要图形界面的用户
成熟度
- 活跃度最近一次提交在 2026-11,仓库仍在持续更新。
- 文档README 覆盖下载、API 和功能,但缺少完整的开发与配置文档。
- 社区约 2000 star、233 fork,有 Discord 社区,但 issue 仍有 76 个未关闭。
- 上手难度提供各平台安装包,下载即用,无需自行编译。
同类项目怎么选
- Ollama以命令行和本地服务为主,Atomic Chat 额外提供桌面 GUI 和 Agent 集成。
- LM Studio同为桌面本地模型客户端,Atomic Chat 开源且强调 OpenAI 兼容 API 与 Agent 启动。
- Jan同为开源本地 AI 桌面应用,Atomic Chat 更侧重推理加速与 Agent 工具接入。
使用前注意
- · 许可证为 NOASSERTION,使用或分发前需自行确认具体条款。
- · 本地运行大模型对内存和显存有要求,模型越大硬件门槛越高。
- · 本地 API 默认只绑定 127.0.0.1,改为 0.0.0.0 暴露到局域网时需注意访问控制。
- · README 中部分加速特性标注了特定模型和平台限制,实际效果因硬件而异。
