sophgo GitHub avatar

tpu-mlir

C++
TPU 机器学习编译器sophgo最近推送 2026年11月18日
模型推理与部署NOASSERTION1,023231115 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

把主流框架模型编译成算能 TPU 可执行的 bmodel 文件。

TPU-MLIR 是一个基于 MLIR 的机器学习编译器,面向算能 Sophgo TPU。它把 PyTorch、ONNX、TFLite、Caffe 等框架的预训练模型转换成 bmodel 文件,在 TPU 上高效运行,并提供量化、校准和部署工具链。

推荐指数

4.0

面向算能 TPU 部署的实用编译器,工具链完整,但绑定特定硬件。

近 7 天

+4

新增 Star

总 Star 排名

#3480

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年6月3日

核心亮点

  • 1多框架前端

    支持 PyTorch、ONNX、TFLite、Caffe,其他框架可经 ONNX 接入。

  • 2LLM 一键转换

    提供 llm_convert.py,可转换 HuggingFace 上的 Qwen 等大模型。

  • 3完整量化链

    支持 F32/BF16/F16/INT8,含校准、QAT 和 AWQ/GPTQ 透传。

  • 4MLIR 流水线

    基于 Top/Tpu 方言做模式重写和层组内存规划。

  • 5生产工具

    附带 model_runner、model_tool、精度验证和模拟器。

适用场景

  • 边缘视觉模型部署

    例如:把 YOLOv5 模型编译成 bmodel,在算能 TPU 设备上推理。

  • 大模型端侧部署

    例如:用 llm_convert.py 把 Qwen 量化模型转换到 bm1684x 上运行。

  • 模型量化调优

    例如:对 ONNX 模型做 INT8 校准,比较量化前后精度。

  • 编译器研究

    例如:基于 MLIR 方言和 lowering 流程做编译优化实验。

它是怎么工作的

  1. 第 1 步

    导入模型

    从 PyTorch、ONNX、TFLite 或 Caffe 读取预训练模型。

  2. 第 2 步

    转换到 MLIR

    将模型转为 Top 方言,进行图优化和模式重写。

  3. 第 3 步

    量化与校准

    按需做 INT8 等量化,并用校准数据确定量化参数。

  4. 第 4 步

    下沉到 TPU 方言

    Lower 到 Tpu 方言,做层组划分和内存规划。

  5. 第 5 步

    生成 bmodel

    输出可在算能 TPU 上运行的 bmodel 文件。

快速上手

  1. 1

    拉取 Docker 镜像

    使用官方预构建镜像,内含编译环境。

    docker pull sophgo/tpuc_dev:latest
  2. 2

    启动容器

    挂载当前目录到 /workspace 并进入容器。

    docker run --privileged --name tpu-mlir -v $PWD:/workspace -it sophgo/tpuc_dev:latest
  3. 3

    安装或编译

    可直接 pip 安装 wheel,或从源码构建。

    pip install tpu_mlir
  4. 4

    转换 LLM 示例

    用 llm_convert.py 把 Qwen 模型编译为 bmodel。

    llm_convert.py -m /workspace/Qwen3.5/Qwen3.5-2B-int4-AutoRound -s 2048 --max_input_length 1024 -c bm1684x -o qwen3.5_4b

适合谁

  • 需要在算能 TPU 上部署模型的开发者
  • 做边缘推理和量化调优的工程师
  • 研究 MLIR 编译器的开发者

不太适合

  • 没有算能 TPU 硬件的用户
  • 只想在 GPU/CPU 上部署模型的人

成熟度

  • 活跃度最近更新在 2026 年 11 月,持续维护。
  • 文档提供中英文手册、快速开始和论文链接。
  • 社区约 1000 star、230 fork,115 个开放 issue,规模中等。
  • 上手难度依赖 Docker 和特定 TPU 硬件,上手有一定门槛。

同类项目怎么选

  • Apache TVM通用深度学习编译器,支持多种硬件后端,不绑定算能 TPU。
  • ONNX Runtime推理运行时,侧重执行而非编译到特定 TPU。

使用前注意

  • · 许可证为 NOASSERTION,使用前需确认具体许可条款。
  • · 编译产物只能在算能 TPU 上运行,需要对应硬件。
  • · 官方推荐在 Docker 镜像内使用,环境依赖较多。
  • · LLM 转换建议使用预量化模型,量化流程需要校准数据。

主题标签

compilerllmmlirtpu