UbiquitousLearning GitHub avatar

mllm

C++
移动端多模态大模型UbiquitousLearning最近推送 2026年9月30日
模型推理与部署MIT1,64122288 issues7 天 +6

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向手机和边缘设备的快速多模态大模型推理引擎。

mllm 是一个用 C++ 编写的轻量级多模态大模型推理引擎,目标是在手机和边缘设备上本地运行视觉语言模型。它支持 Arm CPU、OpenCL GPU、高通 QNN NPU 和昇腾 NPU 等多种硬件后端,并提供模型转换、量化和命令行推理工具。

推荐指数

4.0

想在端侧跑多模态大模型的开发者值得关注,但需接受较陡的工程门槛。

近 7 天

+6

新增 Star

总 Star 排名

#2574

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月31日

核心亮点

  • 1端侧多后端

    同一套运行时覆盖 Arm CPU、OpenCL GPU、QNN NPU 和昇腾 NPU。

  • 2多模态支持

    支持 Qwen3-VL、MiniCPM5 等视觉语言模型在设备本地推理。

  • 3量化优化

    提供 W4A8、W8A8 等量化路径,降低端侧内存和算力压力。

  • 4Android 示例

    内置 Android Demo,采用设备内 Client-Server 架构解耦界面与推理。

  • 5模型转换工具

    mllm-convertor 可直接读取 PyTorch 和 SafeTensors 权重并转为自有格式。

适用场景

  • 手机端离线多模态助手

    例如:在 Android 手机上本地运行 Qwen3-VL-2B,拍照后直接问答,不上传图片。

  • 边缘设备视觉推理

    例如:在 Jetson Orin 上用 W8A8 量化部署 Qwen3-VL,处理图像加文本的批量请求。

  • NPU 端侧部署验证

    例如:把 Qwen3-1.7B 量化后部署到高通 Hexagon NPU 上测试吞吐。

它是怎么工作的

  1. 第 1 步

    模型转换

    用 mllm-convertor 读取 PyTorch 或 SafeTensors 权重,量化并转换为 mllm 格式。

  2. 第 2 步

    图优化

    生成面向 NPU 的中间表示,对接 QNN、CANN 等编译运行时。

  3. 第 3 步

    运行时加载

    mllm Runtime 在目标硬件上加载转换后的模型并执行推理。

  4. 第 4 步

    应用集成

    通过 SDK 或 CLI 调用,Android 端可用内置 Server 层与 UI 通信。

快速上手

  1. 1

    阅读文档

    先看官方文档了解安装与后端选择。

  2. 2

    安装构建

    按 README 的 Installation 章节编译 C++ 工程。

  3. 3

    转换模型

    用 mllm-convertor 把目标模型转为 mllm 格式。

  4. 4

    跑示例

    参考 examples 目录,从 MiniCPM5 或 Qwen3 示例开始。

适合谁

  • 做端侧 AI 应用的 C++ 或 Android 开发者
  • 需要在手机或 NPU 上部署多模态模型的团队
  • 关注量化与推理优化的工程师

不太适合

  • 只想调用云端 API 的普通应用开发者
  • 不熟悉 C++ 编译和模型转换流程的新手

成熟度

  • 活跃度2026 年 9 月仍有提交,更新频繁。
  • 文档有独立文档站和示例目录,但部分后端说明较专业。
  • 社区约 1.6k star、222 fork,88 个开放 issue,社区规模中等。
  • 上手难度需要 C++ 编译、模型转换和硬件后端配置,上手门槛较高。

同类项目怎么选

  • llama.cpp以文本 LLM 为主,多模态和 NPU 后端覆盖不如 mllm 广。
  • MNN-LLM阿里 MNN 生态下的 LLM 推理方案,与 mllm 定位相近但后端和模型支持不同。
  • ncnn通用端侧推理框架,需要自行完成大模型适配,不是专门的多模态 LLM 引擎。

使用前注意

  • · MIT 许可,商用限制较少,但仍需自行确认依赖组件许可。
  • · 不同硬件后端支持程度不一,部分功能标注为实验性。
  • · 模型需先转换和量化,不能直接加载原始权重。
  • · 端侧性能依赖具体芯片和量化方案,需实测验证。

主题标签

llamamultimodalaillmmobile