AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向手机和边缘设备的快速多模态大模型推理引擎。
mllm 是一个用 C++ 编写的轻量级多模态大模型推理引擎,目标是在手机和边缘设备上本地运行视觉语言模型。它支持 Arm CPU、OpenCL GPU、高通 QNN NPU 和昇腾 NPU 等多种硬件后端,并提供模型转换、量化和命令行推理工具。
推荐指数
想在端侧跑多模态大模型的开发者值得关注,但需接受较陡的工程门槛。
近 7 天
+6
新增 Star
总 Star 排名
#2574
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年8月31日
核心亮点
1端侧多后端
同一套运行时覆盖 Arm CPU、OpenCL GPU、QNN NPU 和昇腾 NPU。
2多模态支持
支持 Qwen3-VL、MiniCPM5 等视觉语言模型在设备本地推理。
3量化优化
提供 W4A8、W8A8 等量化路径,降低端侧内存和算力压力。
4Android 示例
内置 Android Demo,采用设备内 Client-Server 架构解耦界面与推理。
5模型转换工具
mllm-convertor 可直接读取 PyTorch 和 SafeTensors 权重并转为自有格式。
适用场景
手机端离线多模态助手
例如:在 Android 手机上本地运行 Qwen3-VL-2B,拍照后直接问答,不上传图片。
边缘设备视觉推理
例如:在 Jetson Orin 上用 W8A8 量化部署 Qwen3-VL,处理图像加文本的批量请求。
NPU 端侧部署验证
例如:把 Qwen3-1.7B 量化后部署到高通 Hexagon NPU 上测试吞吐。
它是怎么工作的
第 1 步
模型转换
用 mllm-convertor 读取 PyTorch 或 SafeTensors 权重,量化并转换为 mllm 格式。
第 2 步
图优化
生成面向 NPU 的中间表示,对接 QNN、CANN 等编译运行时。
第 3 步
运行时加载
mllm Runtime 在目标硬件上加载转换后的模型并执行推理。
第 4 步
应用集成
通过 SDK 或 CLI 调用,Android 端可用内置 Server 层与 UI 通信。
快速上手
- 1
阅读文档
先看官方文档了解安装与后端选择。
- 2
安装构建
按 README 的 Installation 章节编译 C++ 工程。
- 3
转换模型
用 mllm-convertor 把目标模型转为 mllm 格式。
- 4
跑示例
参考 examples 目录,从 MiniCPM5 或 Qwen3 示例开始。
适合谁
- 做端侧 AI 应用的 C++ 或 Android 开发者
- 需要在手机或 NPU 上部署多模态模型的团队
- 关注量化与推理优化的工程师
不太适合
- 只想调用云端 API 的普通应用开发者
- 不熟悉 C++ 编译和模型转换流程的新手
成熟度
- 活跃度2026 年 9 月仍有提交,更新频繁。
- 文档有独立文档站和示例目录,但部分后端说明较专业。
- 社区约 1.6k star、222 fork,88 个开放 issue,社区规模中等。
- 上手难度需要 C++ 编译、模型转换和硬件后端配置,上手门槛较高。
同类项目怎么选
- llama.cpp以文本 LLM 为主,多模态和 NPU 后端覆盖不如 mllm 广。
- MNN-LLM阿里 MNN 生态下的 LLM 推理方案,与 mllm 定位相近但后端和模型支持不同。
- ncnn通用端侧推理框架,需要自行完成大模型适配,不是专门的多模态 LLM 引擎。
使用前注意
- · MIT 许可,商用限制较少,但仍需自行确认依赖组件许可。
- · 不同硬件后端支持程度不一,部分功能标注为实验性。
- · 模型需先转换和量化,不能直接加载原始权重。
- · 端侧性能依赖具体芯片和量化方案,需实测验证。
