XiaoMi GitHub avatar

mace

C++
移动端深度学习推理框架XiaoMi最近推送 2024年6月17日
模型推理与部署Apache-2.05,05482062 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

小米开源的移动端深度学习推理框架,优化异构计算性能。

MACE 是小米开源的移动 AI 计算引擎,面向 Android、iOS、Linux 和 Windows 设备,针对 CPU、GPU、DSP 等异构计算平台进行推理优化。它支持 TensorFlow、Caffe 和 ONNX 模型格式,注重性能、功耗、响应速度、内存占用和模型保护。

推荐指数

4.0

适合需要在移动端高效部署深度学习模型的开发者,尤其关注性能与模型保护。

总 Star 排名

#1258

雷达追踪的 3,958 个 AI 仓库中

创建于

2018

2018年6月27日

核心亮点

  • 1异构计算优化

    利用 NEON、OpenCL 和 Hexagon 加速,并引入 Winograd 算法提升卷积速度。

  • 2低功耗与高响应

    支持 big.LITTLE 调度和 GPU 提示,可拆分 OpenCL 内核保证 UI 流畅。

  • 3模型保护

    通过转换为 C++ 代码和字面量混淆等技术保护模型资产。

  • 4多平台多格式

    覆盖 Android、iOS、Linux、Windows,支持 TensorFlow、Caffe、ONNX 模型。

  • 5内存与体积优化

    图级别内存分配优化和缓冲区复用,核心库依赖少、体积小。

适用场景

  • 移动端图像识别

    例如:在 Android 手机上用 MACE 部署 MobileNet 模型,实现实时物体分类。

  • 端侧人脸检测

    例如:在 iOS 设备上运行轻量人脸检测模型,利用 GPU 加速提升帧率。

  • 嵌入式 AI 应用

    例如:在基于 ARM 的 Linux 开发板上部署语音唤醒模型,优化功耗。

它是怎么工作的

  1. 第 1 步

    模型转换

    将 TensorFlow、Caffe 或 ONNX 模型转换为 MACE 格式。

  2. 第 2 步

    图优化

    进行算子融合、内存分配优化等图级别优化。

  3. 第 3 步

    异构调度

    根据设备能力将计算任务分配到 CPU、GPU 或 DSP。

  4. 第 4 步

    推理执行

    在目标设备上加载优化后的模型进行推理。

快速上手

  1. 1

    环境准备

    参考官方文档安装依赖,配置 Android/iOS 开发环境。

  2. 2

    模型转换

    使用 mace 工具将训练好的模型转换为 MACE 格式。

  3. 3

    集成库

    将 MACE 库集成到应用中,调用 API 加载模型并推理。

适合谁

  • 移动端 AI 应用开发者
  • 嵌入式 AI 工程师
  • 需要模型保护的团队
  • 关注推理性能优化的研究者

不太适合

  • 需要快速原型验证的初学者
  • 主要做云端推理的开发者

成熟度

  • 活跃度最近一次推送在 2024 年 6 月,有 62 个开放 issue,更新频率中等。
  • 文档有完整的 ReadTheDocs 文档、FAQ 和示例,但部分内容可能滞后。
  • 社区GitHub 有 5k+ star 和 820 fork,有 Slack 和 QQ 群,但 issue 响应可能不及时。
  • 上手难度需要配置移动开发环境和模型转换,对新手有一定门槛。

同类项目怎么选

  • TensorFlow LiteGoogle 推出,生态更广,但 MACE 在小米设备上可能有更深度的优化。
  • ncnn腾讯开源,无第三方依赖,更轻量,但 MACE 支持更多硬件后端如 Hexagon DSP。
  • ONNX Runtime微软主导,跨平台支持好,但 MACE 更专注于移动端异构计算和模型保护。

使用前注意

  • · 采用 Apache-2.0 许可,商业使用友好,但需注意第三方依赖的许可。
  • · 主要优化针对 ARM 芯片,其他架构支持有限。
  • · 模型转换和集成需要一定的移动开发经验。
  • · 项目更新频率不高,需关注 issue 解决情况。

主题标签

deep-learningneural-networkopenclneonhvxmachine-learning