mlc-ai GitHub avatar

web-llm-chat

TypeScript
浏览器本地大模型聊天mlc-ai最近推送 2026年11月2日
模型推理与部署Apache-2.01,14923538 issues7 天 +7

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在浏览器本地运行大模型的私密聊天界面,无需服务器。

WebLLM Chat 把 WebLLM 推理引擎和类似 NextChat 的聊天界面结合起来,借助 WebGPU 让大语言模型直接在浏览器里运行。它属于 MLC.ai 项目家族,支持内置模型和通过 MLC-LLM 接入的自定义模型,对话数据不离开本机。

推荐指数

4.0

想体验浏览器本地大模型聊天,这是现成且可自部署的选择,但依赖 WebGPU 和支持的浏览器。

近 7 天

+7

新增 Star

总 Star 排名

#3238

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年5月15日

核心亮点

  • 1浏览器本地推理

    模型在浏览器内通过 WebGPU 运行,不经过服务器。

  • 2隐私与离线

    数据留在本机,首次下载后可离线使用。

  • 3支持视觉模型

    可上传图片,让模型基于图像内容回答。

  • 4自定义模型

    可通过 MLC-LLM 的 REST API 接入本地自定义模型。

  • 5界面完整

    支持 Markdown、暗色模式和响应式布局。

适用场景

  • 隐私敏感的对话

    例如:处理不便上传到云端的内容时,在本地浏览器里直接提问。

  • 离线使用

    例如:首次加载模型后,在无网络环境下继续聊天。

  • 自部署聊天前端

    例如:用 Docker 部署到内网,供团队访问本地模型。

  • 图像问答

    例如:上传一张截图,让模型解释其中的内容。

它是怎么工作的

  1. 第 1 步

    加载模型

    浏览器通过 WebGPU 下载并初始化 WebLLM 支持的模型。

  2. 第 2 步

    本地推理

    对话在浏览器内完成推理,不发送到服务器。

  3. 第 3 步

    界面交互

    聊天界面负责消息展示、Markdown 渲染和设置项。

  4. 第 4 步

    接入自定义模型

    在设置中选择 MLC-LLM REST API 并填入端点地址。

快速上手

  1. 1

    安装依赖

    先安装 Node.js 和 yarn,并在 .env.local 配置环境变量。

    yarn install
  2. 2

    启动开发服务

    本地运行开发服务器预览。

    yarn dev
  3. 3

    构建部署

    可构建为 Next.js 应用或导出静态站点。

    yarn build
  4. 4

    Docker 运行

    构建镜像并映射 3000 端口启动。

    docker build -t webllm_chat . && docker run -d -p 3000:3000 webllm_chat

适合谁

  • 想体验浏览器本地大模型的开发者
  • 需要私密对话环境的用户
  • 想自部署聊天界面的团队

不太适合

  • 浏览器不支持 WebGPU 的用户
  • 需要超大模型或高并发服务的场景

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仍在维护。
  • 文档README 覆盖功能、开发和部署,但细节有限。
  • 社区约 1100 star、235 fork,38 个开放 issue,规模中等。
  • 上手难度有在线演示和 Docker 部署,但依赖 WebGPU 与模型下载。

同类项目怎么选

  • WebLLM底层推理引擎,本项目是它的聊天界面应用。
  • ChatGPT-Next-Web通用聊天前端,通常连接云端 API,而非浏览器本地推理。

使用前注意

  • · 需要浏览器支持 WebGPU,否则无法本地推理。
  • · 首次使用要下载模型,体积和耗时取决于所选模型。
  • · 自定义模型需自行用 MLC-LLM 编译并部署 REST API。
  • · 采用 Apache-2.0 许可,商用前建议核对依赖项目许可。

主题标签

aichatchat-applicationchatbotgemmagenerative-aihermeslarge-language-modelsllamallmmistralphi2privacyredpajamatinyllamanextjsqwenchatgptwebgpu