ngxson GitHub avatar

wllama

TypeScript
浏览器端大模型推理ngxson最近推送 2026年11月19日
模型推理与部署MIT1,39714157 issues7 天 +11

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在浏览器里直接跑 llama.cpp 的 WebAssembly 绑定,无需后端即可本地推理。

wllama 是 llama.cpp 的 WebAssembly 绑定,让大模型推理直接运行在浏览器中,不需要后端服务或 GPU。项目用 TypeScript 编写,提供预构建的 npm 包 @wllama/wllama,并附带 OpenAI 兼容的 API。

推荐指数

4.0

想在浏览器端做本地 LLM 推理的开发者值得一试,功能覆盖较全,但多线程和模型大小有使用门槛。

近 7 天

+11

新增 Star

总 Star 排名

#2845

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年3月14日

核心亮点

  • 1浏览器内推理

    基于 WebAssembly SIMD,无需后端和 GPU。

  • 2OpenAI 兼容 API

    内置完整类型定义的 OpenAI 风格接口。

  • 3WebGPU 加速

    V3 起支持 WebGPU,可把部分层卸载到 GPU。

  • 4多模态与语音

    支持图像、音频输入,以及语音合成和转写。

  • 5不阻塞 UI

    推理在 worker 中执行,页面渲染不受影响。

适用场景

  • 纯前端 AI 应用

    例如:在网页里加载量化模型做文本补全,不经过任何服务器。

  • 隐私敏感场景

    例如:用户数据不离开浏览器,本地完成推理。

  • 多模态演示

    例如:上传图片或音频,在浏览器内直接做视觉问答或转写。

  • 工具调用原型

    例如:用内置 tool calling 示例快速验证 Agent 流程。

它是怎么工作的

  1. 第 1 步

    编译 Wasm

    把 llama.cpp 编译成 WebAssembly 二进制。

  2. 第 2 步

    加载模型

    通过 npm 包引入 Wllama,加载 GGUF 模型文件。

  3. 第 3 步

    worker 推理

    推理在 worker 线程中执行,避免阻塞界面。

  4. 第 4 步

    可选 GPU 卸载

    通过 n_gpu_layers 参数把部分层交给 WebGPU。

快速上手

  1. 1

    安装 npm 包

    在项目中安装预构建包。

    npm i @wllama/wllama
  2. 2

    引入并初始化

    导入 Wllama 并传入配置路径创建实例。

    import { Wllama } from '@wllama/wllama';
  3. 3

    加载模型

    加载 GGUF 模型,可按需设置 n_gpu_layers。

  4. 4

    参考示例

    从官方 basic、embeddings、multimodal 等示例入手。

适合谁

  • 做浏览器端 AI 应用的前端开发者
  • 需要本地推理、重视隐私的产品团队
  • 想快速验证多模态或工具调用的原型开发者

不太适合

  • 需要服务端高吞吐推理的场景
  • 无法配置 COOP/COEP 响应头的部署环境

成熟度

  • 活跃度2026 年仍有更新,已发布 V3 大版本。
  • 文档有独立文档站和多个可运行示例。
  • 社区约 1.4k star、141 fork,63 个开放 issue。
  • 上手难度npm 安装简单,但多线程需配置响应头,大模型需分片。

同类项目怎么选

  • llama.cpp原生 C++ 实现,wllama 是其面向浏览器的 Wasm 绑定。
  • transformers.js基于 ONNX Runtime Web,模型生态和接口不同。

使用前注意

  • · 多线程需设置 Cross-Origin-Embedder-Policy 和 Cross-Origin-Opener-Policy 响应头。
  • · 受 ArrayBuffer 限制,单文件最大 2GB,大模型需拆分加载。
  • · WebGPU 在部分浏览器需兼容模式,性能会明显下降。
  • · 采用 MIT 许可,可商用,但需自行评估模型许可。

主题标签

llamallamacppllmwasmwebassembly