sauravpanda GitHub avatar

BrowserAI

TypeScript
浏览器本地大模型运行器sauravpanda最近推送 2026年7月21日
模型推理与部署MIT1,45113724 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在浏览器中本地运行 LLM、语音识别、TTS 和音频分离的开源 SDK。

BrowserAI 是一个 TypeScript 库,让开发者通过 WebGPU 在浏览器里直接加载和运行大语言模型、语音识别、文本转语音以及音频源分离模型。它封装了 MLC、Transformers、Flare 和 Demucs 等多个推理引擎,提供统一的 API,无需服务器即可实现隐私安全的 AI 功能。

推荐指数

4.0

适合想在前端直接跑 AI 模型的开发者,API 简单、模型预置多,但需注意浏览器兼容性和模型体积。

总 Star 排名

#2785

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年1月8日

核心亮点

  • 1完全本地运行

    所有推理在浏览器内完成,数据不出设备,无需后端服务器。

  • 2多引擎支持

    可切换 MLC、Transformers、Flare(GGUF/WASM)和 Demucs 引擎。

  • 3预置模型丰富

    内置 Llama、Qwen、Gemma、Whisper、Kokoro TTS 等热门模型配置。

  • 4多模态能力

    支持文本生成、语音识别、文本转语音和音频源分离。

  • 5结构化输出

    可通过 JSON Schema 约束模型输出格式。

适用场景

  • 隐私敏感的聊天应用

    例如:在企业内部工具中嵌入本地 LLM 聊天,对话内容不离开用户浏览器。

  • 离线可用的语音工具

    例如:构建网页版语音转文字或文字转语音工具,首次下载模型后可离线使用。

  • 音频处理

    例如:在浏览器中分离歌曲的人声、鼓、贝斯等音轨,用于混音或卡拉 OK 应用。

  • 无代码 AI 平台

    例如:作为底层 SDK 为可视化 Agent 构建器提供本地推理能力。

它是怎么工作的

  1. 第 1 步

    安装 SDK

    通过 npm 或 yarn 安装 @browserai/browserai 包。

  2. 第 2 步

    加载模型

    调用 loadModel 指定模型名称和量化配置,模型文件下载到浏览器缓存。

  3. 第 3 步

    执行推理

    使用 generateText、transcribeAudio、textToSpeech 等方法调用对应引擎。

  4. 第 4 步

    利用 Web Worker

    推理在 Web Worker 中运行,避免阻塞主线程 UI。

快速上手

  1. 1

    安装依赖

    使用 npm 或 yarn 安装 BrowserAI 包。

    npm install @browserai/browserai
  2. 2

    初始化并加载模型

    创建 BrowserAI 实例,加载 llama-3.2-1b-instruct 模型并监听进度。

  3. 3

    生成文本

    调用 generateText 传入提示词,获取模型回复。

适合谁

  • 前端开发者想集成 AI 功能但不想维护后端
  • 对数据隐私要求高的团队
  • 需要离线或低延迟 AI 能力的应用开发者
  • 探索浏览器端 AI 的研究者或爱好者

不太适合

  • 需要运行超大模型(如 70B 以上)的用户
  • 目标浏览器不支持 WebGPU 且无法接受降级性能的开发者
  • 需要服务端批量推理或高并发场景的团队

成熟度

  • 活跃度最近一次推送在 2026 年 7 月,1452 星、137 fork,更新较活跃。
  • 文档README 包含快速开始、多个示例和模型列表,另有独立文档站。
  • 社区有 Discord 社区和 24 个开放 issue,规模中等。
  • 上手难度API 设计简洁,几行代码即可加载模型并生成文本,但需处理模型下载和浏览器兼容。

同类项目怎么选

  • WebLLM同样基于 WebGPU 在浏览器运行 LLM,但 BrowserAI 额外集成了语音识别、TTS 和音频分离。
  • Transformers.jsHugging Face 官方库,侧重 Transformers 模型在浏览器运行;BrowserAI 封装了多引擎并预置模型配置。
  • llama.cpp WASM底层 GGUF 推理引擎,BrowserAI 的 Flare 引擎基于 WASM 提供更高层 API。

使用前注意

  • · 需要浏览器支持 WebGPU,旧版浏览器可能无法使用或性能下降。
  • · 模型文件较大,首次加载需下载数百 MB 至数 GB,受用户网络影响。
  • · MIT 许可证,可商用,但需保留版权声明。
  • · 浏览器内存有限,运行较大模型(如 8B)可能受设备限制。

主题标签

aillm-inferencewebgpuagentsllmttslocalllmllamalocal