mlc-ai GitHub avatar

mlc-llm

Python
通用大模型部署引擎mlc-ai最近推送 2026年11月18日
模型推理与部署Apache-2.023.4k2,184376 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用机器学习编译把大模型部署到手机、浏览器、各类 GPU 上运行。

MLC LLM 是一个机器学习编译器加高性能部署引擎,目标是在各种平台上原生地开发、优化和部署大语言模型。它把模型编译后交给统一的推理引擎 MLCEngine 运行,覆盖 AMD、NVIDIA、Apple、Intel GPU,以及浏览器、iOS、Android 等平台。MLCEngine 提供 OpenAI 兼容的 API,可通过 REST 服务、Python、JavaScript、iOS、Android 调用。

推荐指数

4.0

跨平台本地部署大模型的成熟方案,适合需要异构硬件推理的开发者,但上手需要理解编译流程。

总 Star 排名

#309

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年4月29日

核心亮点

  • 1跨平台覆盖广

    支持 Vulkan、CUDA、ROCm、Metal、OpenCL、WebGPU 和 WASM 等多种后端。

  • 2统一推理引擎

    MLCEngine 在桌面、移动端和浏览器上共用同一套引擎与编译器。

  • 3OpenAI 兼容 API

    可通过 REST 服务、Python、JavaScript、iOS、Android 调用。

  • 4编译优化

    基于 TVM、TensorIR、MetaSchedule 等技术做张量程序优化。

  • 5配套 WebLLM

    同团队维护 WebLLM,浏览器端部署有现成参考。

适用场景

  • 移动端本地推理

    例如:在 Android 手机上用 OpenCL 在 Adreno 或 Mali GPU 上跑量化后的大模型。

  • 浏览器内运行模型

    例如:借助 WebGPU 和 WASM 在网页里直接推理,配合 WebLLM 使用。

  • 多硬件统一部署

    例如:同一份模型编译后分别部署到 NVIDIA、AMD、Apple 和 Intel GPU 的服务器。

  • 本地 API 服务

    例如:用 REST 服务暴露 OpenAI 兼容接口,供现有应用直接调用。

它是怎么工作的

  1. 第 1 步

    模型转换

    把 HuggingFace 等来源的模型转换为 MLC 格式并做量化。

  2. 第 2 步

    编译优化

    用机器学习编译器针对目标硬件生成优化后的推理代码。

  3. 第 3 步

    引擎加载

    MLCEngine 在目标平台加载编译产物并执行推理。

  4. 第 4 步

    接口调用

    通过 REST、Python、JS 或移动端 SDK 以 OpenAI 兼容方式调用。

快速上手

  1. 1

    查看文档

    先阅读官方安装与快速开始文档。

  2. 2

    安装 MLC LLM

    按文档安装 Python 包及对应平台依赖。

  3. 3

    编译并运行模型

    按快速开始转换模型并在本机推理。

适合谁

  • 需要在手机、浏览器等边缘设备跑大模型的开发者
  • 要覆盖多种 GPU 后端的部署团队
  • 愿意研究编译流程的性能优化者

不太适合

  • 只想一行代码调用云端 API 的用户
  • 不熟悉编译工具链的初学者

成熟度

  • 活跃度最近更新在 2026 年 11 月,仓库持续活跃。
  • 文档有独立文档站、安装与快速开始指南,README 以链接为主。
  • 社区约 2.3 万 star、2 千多 fork,有 Discord 社区。
  • 上手难度涉及模型转换与编译步骤,需要一定学习成本。

同类项目怎么选

  • llama.cpp以 C/C++ 手写推理为主,部署更轻量,跨平台编译优化不如 MLC 系统化。
  • Ollama面向本地一键运行,封装更简单,但硬件后端和平台覆盖较窄。
  • WebLLM同团队项目,专注浏览器端,MLC LLM 覆盖平台更广。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 不同平台支持的后端不同,需先确认目标硬件是否在支持列表内。
  • · 模型需先转换和量化,流程比直接加载权重更复杂。
  • · 移动端和浏览器端受内存与算力限制,模型规模要相应选择。

主题标签

llmmachine-learning-compilationlanguage-modeltvm