AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在浏览器里用 WebGPU 直接跑大语言模型的推理引擎。
WebLLM 是一个高性能的浏览器内 LLM 推理引擎,所有计算都在浏览器中完成,不需要服务器支持,并通过 WebGPU 进行硬件加速。它完全兼容 OpenAI API,可以在本地用同一套接口调用各种开源模型,支持流式输出、JSON 模式等功能。该项目是 MLC LLM 的配套项目,以 npm 包形式提供,方便开发者在网页应用中集成。
推荐指数
适合想在网页端无后端运行 LLM 的开发者,但依赖 WebGPU 且模型体积较大。
近 7 天
+22
新增 Star
总 Star 排名
#370
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年4月14日
核心亮点
1浏览器内推理
利用 WebGPU 加速,模型完全在浏览器中运行,无需服务器。
2兼容 OpenAI API
支持流式、JSON 模式、logit 控制等,可复用现有 OpenAI 接口代码。
3多模型支持
内置 Llama 3、Phi 3、Gemma、Mistral、Qwen 等模型系列。
4结构化 JSON 生成
在 WebAssembly 部分实现 JSON 模式,可按自定义 schema 输出。
5易于集成
支持 npm、yarn、pnpm 或 CDN 引入,提供多种示例。
适用场景
隐私敏感的网页 AI 助手
例如:在浏览器内运行聊天机器人,用户数据不离开本地。
无后端的演示或原型
例如:用 CDN 引入 WebLLM,在 JSFiddle 或 CodePen 上快速搭建聊天示例。
Chrome 扩展
例如:构建浏览器扩展,在扩展内直接调用本地模型处理文本。
需要结构化输出的前端应用
例如:利用 JSON 模式让模型按指定 schema 生成表单数据。
它是怎么工作的
第 1 步
加载模型
通过 CreateMLCEngine() 指定模型并下载到浏览器缓存。
第 2 步
WebGPU 加速推理
模型计算在浏览器内通过 WebGPU 执行,无需服务器。
第 3 步
调用接口
使用兼容 OpenAI API 的接口发送请求,支持流式返回。
第 4 步
可选 Worker 卸载
可将计算放到 Web Worker 或 Service Worker 中,避免阻塞 UI。
快速上手
- 1
安装包
使用 npm、yarn 或 pnpm 安装 @mlc-ai/web-llm。
npm install @mlc-ai/web-llm - 2
导入模块
在代码中导入 CreateMLCEngine 等所需接口。
import { CreateMLCEngine } from "@mlc-ai/web-llm"; - 3
创建引擎并加载模型
调用 CreateMLCEngine() 指定模型名称,等待加载完成。
- 4
发送请求
使用兼容 OpenAI 的 chat completions 接口进行对话。
适合谁
- 前端开发者想在网页中集成 LLM
- 需要隐私保护、数据不出本地的应用开发者
- 想复用 OpenAI API 接口的开发者
- 构建 Chrome 扩展的开发者
不太适合
- 需要在不支持 WebGPU 的浏览器上运行的用户
- 对模型体积和下载时间敏感的场景
- 需要服务端大规模并发的生产环境
成熟度
- 活跃度最近更新于 2026 年 11 月,star 数近 2 万,持续活跃。
- 文档有官方文档、博客、论文和示例,但部分高级功能说明较简略。
- 社区fork 数 1414,开放 issue 156 个,有 Discord 社区。
- 上手难度npm 安装和 API 设计简洁,但需要 WebGPU 环境和模型下载。
同类项目怎么选
- Transformers.jsHugging Face 出品,支持多种任务,但 LLM 推理性能和模型支持范围不同。
- MLC LLMWebLLM 的母项目,面向多硬件平台部署,不限于浏览器。
- llama.cpp主要面向本地原生环境推理,浏览器端需借助 WASM 等方案。
使用前注意
- · 依赖 WebGPU,需较新版本的 Chrome 或 Edge 等浏览器支持。
- · 模型文件较大,首次加载需要下载,占用浏览器存储和内存。
- · Apache-2.0 许可,商用需保留版权声明。
- · 浏览器内推理性能受设备 GPU 限制,不适合大规模并发。
