AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在浏览器里直接跑 llama.cpp 的 WebAssembly 绑定,无需后端即可本地推理。
wllama 是 llama.cpp 的 WebAssembly 绑定,让大模型推理直接运行在浏览器中,不需要后端服务或 GPU。项目用 TypeScript 编写,提供预构建的 npm 包 @wllama/wllama,并附带 OpenAI 兼容的 API。
推荐指数
想在浏览器端做本地 LLM 推理的开发者值得一试,功能覆盖较全,但多线程和模型大小有使用门槛。
近 7 天
+11
新增 Star
总 Star 排名
#2845
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年3月14日
核心亮点
1浏览器内推理
基于 WebAssembly SIMD,无需后端和 GPU。
2OpenAI 兼容 API
内置完整类型定义的 OpenAI 风格接口。
3WebGPU 加速
V3 起支持 WebGPU,可把部分层卸载到 GPU。
4多模态与语音
支持图像、音频输入,以及语音合成和转写。
5不阻塞 UI
推理在 worker 中执行,页面渲染不受影响。
适用场景
纯前端 AI 应用
例如:在网页里加载量化模型做文本补全,不经过任何服务器。
隐私敏感场景
例如:用户数据不离开浏览器,本地完成推理。
多模态演示
例如:上传图片或音频,在浏览器内直接做视觉问答或转写。
工具调用原型
例如:用内置 tool calling 示例快速验证 Agent 流程。
它是怎么工作的
第 1 步
编译 Wasm
把 llama.cpp 编译成 WebAssembly 二进制。
第 2 步
加载模型
通过 npm 包引入 Wllama,加载 GGUF 模型文件。
第 3 步
worker 推理
推理在 worker 线程中执行,避免阻塞界面。
第 4 步
可选 GPU 卸载
通过 n_gpu_layers 参数把部分层交给 WebGPU。
快速上手
- 1
安装 npm 包
在项目中安装预构建包。
npm i @wllama/wllama - 2
引入并初始化
导入 Wllama 并传入配置路径创建实例。
import { Wllama } from '@wllama/wllama'; - 3
加载模型
加载 GGUF 模型,可按需设置 n_gpu_layers。
- 4
参考示例
从官方 basic、embeddings、multimodal 等示例入手。
适合谁
- 做浏览器端 AI 应用的前端开发者
- 需要本地推理、重视隐私的产品团队
- 想快速验证多模态或工具调用的原型开发者
不太适合
- 需要服务端高吞吐推理的场景
- 无法配置 COOP/COEP 响应头的部署环境
成熟度
- 活跃度2026 年仍有更新,已发布 V3 大版本。
- 文档有独立文档站和多个可运行示例。
- 社区约 1.4k star、141 fork,63 个开放 issue。
- 上手难度npm 安装简单,但多线程需配置响应头,大模型需分片。
同类项目怎么选
- llama.cpp原生 C++ 实现,wllama 是其面向浏览器的 Wasm 绑定。
- transformers.js基于 ONNX Runtime Web,模型生态和接口不同。
使用前注意
- · 多线程需设置 Cross-Origin-Embedder-Policy 和 Cross-Origin-Opener-Policy 响应头。
- · 受 ArrayBuffer 限制,单文件最大 2GB,大模型需拆分加载。
- · WebGPU 在部分浏览器需兼容模式,性能会明显下降。
- · 采用 MIT 许可,可商用,但需自行评估模型许可。
