AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在浏览器本地运行大模型的私密聊天界面,无需服务器。
WebLLM Chat 把 WebLLM 推理引擎和类似 NextChat 的聊天界面结合起来,借助 WebGPU 让大语言模型直接在浏览器里运行。它属于 MLC.ai 项目家族,支持内置模型和通过 MLC-LLM 接入的自定义模型,对话数据不离开本机。
推荐指数
想体验浏览器本地大模型聊天,这是现成且可自部署的选择,但依赖 WebGPU 和支持的浏览器。
近 7 天
+7
新增 Star
总 Star 排名
#3238
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年5月15日
核心亮点
1浏览器本地推理
模型在浏览器内通过 WebGPU 运行,不经过服务器。
2隐私与离线
数据留在本机,首次下载后可离线使用。
3支持视觉模型
可上传图片,让模型基于图像内容回答。
4自定义模型
可通过 MLC-LLM 的 REST API 接入本地自定义模型。
5界面完整
支持 Markdown、暗色模式和响应式布局。
适用场景
隐私敏感的对话
例如:处理不便上传到云端的内容时,在本地浏览器里直接提问。
离线使用
例如:首次加载模型后,在无网络环境下继续聊天。
自部署聊天前端
例如:用 Docker 部署到内网,供团队访问本地模型。
图像问答
例如:上传一张截图,让模型解释其中的内容。
它是怎么工作的
第 1 步
加载模型
浏览器通过 WebGPU 下载并初始化 WebLLM 支持的模型。
第 2 步
本地推理
对话在浏览器内完成推理,不发送到服务器。
第 3 步
界面交互
聊天界面负责消息展示、Markdown 渲染和设置项。
第 4 步
接入自定义模型
在设置中选择 MLC-LLM REST API 并填入端点地址。
快速上手
- 1
安装依赖
先安装 Node.js 和 yarn,并在 .env.local 配置环境变量。
yarn install - 2
启动开发服务
本地运行开发服务器预览。
yarn dev - 3
构建部署
可构建为 Next.js 应用或导出静态站点。
yarn build - 4
Docker 运行
构建镜像并映射 3000 端口启动。
docker build -t webllm_chat . && docker run -d -p 3000:3000 webllm_chat
适合谁
- 想体验浏览器本地大模型的开发者
- 需要私密对话环境的用户
- 想自部署聊天界面的团队
不太适合
- 浏览器不支持 WebGPU 的用户
- 需要超大模型或高并发服务的场景
成熟度
- 活跃度最近一次推送在 2026 年 11 月,仍在维护。
- 文档README 覆盖功能、开发和部署,但细节有限。
- 社区约 1100 star、235 fork,38 个开放 issue,规模中等。
- 上手难度有在线演示和 Docker 部署,但依赖 WebGPU 与模型下载。
同类项目怎么选
- WebLLM底层推理引擎,本项目是它的聊天界面应用。
- ChatGPT-Next-Web通用聊天前端,通常连接云端 API,而非浏览器本地推理。
使用前注意
- · 需要浏览器支持 WebGPU,否则无法本地推理。
- · 首次使用要下载模型,体积和耗时取决于所选模型。
- · 自定义模型需自行用 MLC-LLM 编译并部署 REST API。
- · 采用 Apache-2.0 许可,商用前建议核对依赖项目许可。
