AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
把主流框架模型编译成算能 TPU 可执行的 bmodel 文件。
TPU-MLIR 是一个基于 MLIR 的机器学习编译器,面向算能 Sophgo TPU。它把 PyTorch、ONNX、TFLite、Caffe 等框架的预训练模型转换成 bmodel 文件,在 TPU 上高效运行,并提供量化、校准和部署工具链。
推荐指数
面向算能 TPU 部署的实用编译器,工具链完整,但绑定特定硬件。
近 7 天
+4
新增 Star
总 Star 排名
#3480
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年6月3日
核心亮点
1多框架前端
支持 PyTorch、ONNX、TFLite、Caffe,其他框架可经 ONNX 接入。
2LLM 一键转换
提供 llm_convert.py,可转换 HuggingFace 上的 Qwen 等大模型。
3完整量化链
支持 F32/BF16/F16/INT8,含校准、QAT 和 AWQ/GPTQ 透传。
4MLIR 流水线
基于 Top/Tpu 方言做模式重写和层组内存规划。
5生产工具
附带 model_runner、model_tool、精度验证和模拟器。
适用场景
边缘视觉模型部署
例如:把 YOLOv5 模型编译成 bmodel,在算能 TPU 设备上推理。
大模型端侧部署
例如:用 llm_convert.py 把 Qwen 量化模型转换到 bm1684x 上运行。
模型量化调优
例如:对 ONNX 模型做 INT8 校准,比较量化前后精度。
编译器研究
例如:基于 MLIR 方言和 lowering 流程做编译优化实验。
它是怎么工作的
第 1 步
导入模型
从 PyTorch、ONNX、TFLite 或 Caffe 读取预训练模型。
第 2 步
转换到 MLIR
将模型转为 Top 方言,进行图优化和模式重写。
第 3 步
量化与校准
按需做 INT8 等量化,并用校准数据确定量化参数。
第 4 步
下沉到 TPU 方言
Lower 到 Tpu 方言,做层组划分和内存规划。
第 5 步
生成 bmodel
输出可在算能 TPU 上运行的 bmodel 文件。
快速上手
- 1
拉取 Docker 镜像
使用官方预构建镜像,内含编译环境。
docker pull sophgo/tpuc_dev:latest - 2
启动容器
挂载当前目录到 /workspace 并进入容器。
docker run --privileged --name tpu-mlir -v $PWD:/workspace -it sophgo/tpuc_dev:latest - 3
安装或编译
可直接 pip 安装 wheel,或从源码构建。
pip install tpu_mlir - 4
转换 LLM 示例
用 llm_convert.py 把 Qwen 模型编译为 bmodel。
llm_convert.py -m /workspace/Qwen3.5/Qwen3.5-2B-int4-AutoRound -s 2048 --max_input_length 1024 -c bm1684x -o qwen3.5_4b
适合谁
- 需要在算能 TPU 上部署模型的开发者
- 做边缘推理和量化调优的工程师
- 研究 MLIR 编译器的开发者
不太适合
- 没有算能 TPU 硬件的用户
- 只想在 GPU/CPU 上部署模型的人
成熟度
- 活跃度最近更新在 2026 年 11 月,持续维护。
- 文档提供中英文手册、快速开始和论文链接。
- 社区约 1000 star、230 fork,115 个开放 issue,规模中等。
- 上手难度依赖 Docker 和特定 TPU 硬件,上手有一定门槛。
同类项目怎么选
- Apache TVM通用深度学习编译器,支持多种硬件后端,不绑定算能 TPU。
- ONNX Runtime推理运行时,侧重执行而非编译到特定 TPU。
使用前注意
- · 许可证为 NOASSERTION,使用前需确认具体许可条款。
- · 编译产物只能在算能 TPU 上运行,需要对应硬件。
- · 官方推荐在 Docker 镜像内使用,环境依赖较多。
- · LLM 转换建议使用预量化模型,量化流程需要校准数据。
