mlc-ai GitHub avatar

web-llm

TypeScript
浏览器大模型推理引擎mlc-ai最近推送 2026年11月18日
模型推理与部署Apache-2.019.4k1,415159 issues7 天 +22

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在浏览器里用 WebGPU 直接跑大语言模型的推理引擎。

WebLLM 是一个高性能的浏览器内 LLM 推理引擎,所有计算都在浏览器中完成,不需要服务器支持,并通过 WebGPU 进行硬件加速。它完全兼容 OpenAI API,可以在本地用同一套接口调用各种开源模型,支持流式输出、JSON 模式等功能。该项目是 MLC LLM 的配套项目,以 npm 包形式提供,方便开发者在网页应用中集成。

推荐指数

4.0

适合想在网页端无后端运行 LLM 的开发者,但依赖 WebGPU 且模型体积较大。

近 7 天

+22

新增 Star

总 Star 排名

#370

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年4月14日

核心亮点

  • 1浏览器内推理

    利用 WebGPU 加速,模型完全在浏览器中运行,无需服务器。

  • 2兼容 OpenAI API

    支持流式、JSON 模式、logit 控制等,可复用现有 OpenAI 接口代码。

  • 3多模型支持

    内置 Llama 3、Phi 3、Gemma、Mistral、Qwen 等模型系列。

  • 4结构化 JSON 生成

    在 WebAssembly 部分实现 JSON 模式,可按自定义 schema 输出。

  • 5易于集成

    支持 npm、yarn、pnpm 或 CDN 引入,提供多种示例。

适用场景

  • 隐私敏感的网页 AI 助手

    例如:在浏览器内运行聊天机器人,用户数据不离开本地。

  • 无后端的演示或原型

    例如:用 CDN 引入 WebLLM,在 JSFiddle 或 CodePen 上快速搭建聊天示例。

  • Chrome 扩展

    例如:构建浏览器扩展,在扩展内直接调用本地模型处理文本。

  • 需要结构化输出的前端应用

    例如:利用 JSON 模式让模型按指定 schema 生成表单数据。

它是怎么工作的

  1. 第 1 步

    加载模型

    通过 CreateMLCEngine() 指定模型并下载到浏览器缓存。

  2. 第 2 步

    WebGPU 加速推理

    模型计算在浏览器内通过 WebGPU 执行,无需服务器。

  3. 第 3 步

    调用接口

    使用兼容 OpenAI API 的接口发送请求,支持流式返回。

  4. 第 4 步

    可选 Worker 卸载

    可将计算放到 Web Worker 或 Service Worker 中,避免阻塞 UI。

快速上手

  1. 1

    安装包

    使用 npm、yarn 或 pnpm 安装 @mlc-ai/web-llm。

    npm install @mlc-ai/web-llm
  2. 2

    导入模块

    在代码中导入 CreateMLCEngine 等所需接口。

    import { CreateMLCEngine } from "@mlc-ai/web-llm";
  3. 3

    创建引擎并加载模型

    调用 CreateMLCEngine() 指定模型名称,等待加载完成。

  4. 4

    发送请求

    使用兼容 OpenAI 的 chat completions 接口进行对话。

适合谁

  • 前端开发者想在网页中集成 LLM
  • 需要隐私保护、数据不出本地的应用开发者
  • 想复用 OpenAI API 接口的开发者
  • 构建 Chrome 扩展的开发者

不太适合

  • 需要在不支持 WebGPU 的浏览器上运行的用户
  • 对模型体积和下载时间敏感的场景
  • 需要服务端大规模并发的生产环境

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数近 2 万,持续活跃。
  • 文档有官方文档、博客、论文和示例,但部分高级功能说明较简略。
  • 社区fork 数 1414,开放 issue 156 个,有 Discord 社区。
  • 上手难度npm 安装和 API 设计简洁,但需要 WebGPU 环境和模型下载。

同类项目怎么选

  • Transformers.jsHugging Face 出品,支持多种任务,但 LLM 推理性能和模型支持范围不同。
  • MLC LLMWebLLM 的母项目,面向多硬件平台部署,不限于浏览器。
  • llama.cpp主要面向本地原生环境推理,浏览器端需借助 WASM 等方案。

使用前注意

  • · 依赖 WebGPU,需较新版本的 Chrome 或 Edge 等浏览器支持。
  • · 模型文件较大,首次加载需要下载,占用浏览器存储和内存。
  • · Apache-2.0 许可,商用需保留版权声明。
  • · 浏览器内推理性能受设备 GPU 限制,不适合大规模并发。

主题标签

deep-learningllmtvmwebgpuwebmlchatgptlanguage-model