AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用机器学习编译把大模型部署到手机、浏览器、各类 GPU 上运行。
MLC LLM 是一个机器学习编译器加高性能部署引擎,目标是在各种平台上原生地开发、优化和部署大语言模型。它把模型编译后交给统一的推理引擎 MLCEngine 运行,覆盖 AMD、NVIDIA、Apple、Intel GPU,以及浏览器、iOS、Android 等平台。MLCEngine 提供 OpenAI 兼容的 API,可通过 REST 服务、Python、JavaScript、iOS、Android 调用。
推荐指数
跨平台本地部署大模型的成熟方案,适合需要异构硬件推理的开发者,但上手需要理解编译流程。
总 Star 排名
#309
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年4月29日
核心亮点
1跨平台覆盖广
支持 Vulkan、CUDA、ROCm、Metal、OpenCL、WebGPU 和 WASM 等多种后端。
2统一推理引擎
MLCEngine 在桌面、移动端和浏览器上共用同一套引擎与编译器。
3OpenAI 兼容 API
可通过 REST 服务、Python、JavaScript、iOS、Android 调用。
4编译优化
基于 TVM、TensorIR、MetaSchedule 等技术做张量程序优化。
5配套 WebLLM
同团队维护 WebLLM,浏览器端部署有现成参考。
适用场景
移动端本地推理
例如:在 Android 手机上用 OpenCL 在 Adreno 或 Mali GPU 上跑量化后的大模型。
浏览器内运行模型
例如:借助 WebGPU 和 WASM 在网页里直接推理,配合 WebLLM 使用。
多硬件统一部署
例如:同一份模型编译后分别部署到 NVIDIA、AMD、Apple 和 Intel GPU 的服务器。
本地 API 服务
例如:用 REST 服务暴露 OpenAI 兼容接口,供现有应用直接调用。
它是怎么工作的
第 1 步
模型转换
把 HuggingFace 等来源的模型转换为 MLC 格式并做量化。
第 2 步
编译优化
用机器学习编译器针对目标硬件生成优化后的推理代码。
第 3 步
引擎加载
MLCEngine 在目标平台加载编译产物并执行推理。
第 4 步
接口调用
通过 REST、Python、JS 或移动端 SDK 以 OpenAI 兼容方式调用。
快速上手
- 1
查看文档
先阅读官方安装与快速开始文档。
- 2
安装 MLC LLM
按文档安装 Python 包及对应平台依赖。
- 3
编译并运行模型
按快速开始转换模型并在本机推理。
适合谁
- 需要在手机、浏览器等边缘设备跑大模型的开发者
- 要覆盖多种 GPU 后端的部署团队
- 愿意研究编译流程的性能优化者
不太适合
- 只想一行代码调用云端 API 的用户
- 不熟悉编译工具链的初学者
成熟度
- 活跃度最近更新在 2026 年 11 月,仓库持续活跃。
- 文档有独立文档站、安装与快速开始指南,README 以链接为主。
- 社区约 2.3 万 star、2 千多 fork,有 Discord 社区。
- 上手难度涉及模型转换与编译步骤,需要一定学习成本。
同类项目怎么选
- llama.cpp以 C/C++ 手写推理为主,部署更轻量,跨平台编译优化不如 MLC 系统化。
- Ollama面向本地一键运行,封装更简单,但硬件后端和平台覆盖较窄。
- WebLLM同团队项目,专注浏览器端,MLC LLM 覆盖平台更广。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 不同平台支持的后端不同,需先确认目标硬件是否在支持列表内。
- · 模型需先转换和量化,流程比直接加载权重更复杂。
- · 移动端和浏览器端受内存与算力限制,模型规模要相应选择。
