Neywa-Labs GitHub avatar

mlx-vlm

Python
Mac 视觉语言模型工具Neywa-Labs最近推送 2026年11月19日
模型推理与部署MIT5,860899276 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月19日

在 Apple Silicon Mac 上本地运行和微调视觉语言模型的开源工具包。

MLX-VLM 是一个基于苹果 MLX 框架的 Python 包,用于在 Mac 上进行视觉语言模型(VLM)的推理和微调。它支持文本、图像、视频和音频输入,并输出文本,覆盖 LLaVA、PaliGemma、Florence2、DeepSeek-OCR、MiniCPM-V 等多种模型。

推荐指数

4.0

Mac 上做多模态模型本地实验的实用选择,模型覆盖广,但需注意平台限制和部分功能成熟度。

总 Star 排名

#1120

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年4月16日

核心亮点

  • 1本地运行

    所有计算在 Mac 本地完成,无需上传数据到云端。

  • 2模型覆盖广

    支持 LLaVA、PaliGemma、Florence2、DeepSeek-OCR、MiniCPM-V 等数十种 VLM。

  • 3多模态输入

    支持文本、图像、视频和音频输入,输出文本。

  • 4推理方式多样

    提供 CLI、Gradio 聊天界面、Python 脚本和 FastAPI 服务器。

  • 5支持微调

    可在 Mac 上对视觉语言模型进行微调。

适用场景

  • 本地图像问答

    例如:用 CLI 加载 LLaVA 模型,输入一张照片并提问“图中有什么”。

  • 文档 OCR 与理解

    例如:使用 DeepSeek-OCR 模型在本地提取图片中的文字和版面信息。

  • 多模态应用原型

    例如:通过 FastAPI 服务器将 VLM 能力接入自己的本地应用。

  • 模型微调实验

    例如:在 Mac 上用自己的图文数据微调一个小型 VLM。

它是怎么工作的

  1. 第 1 步

    安装依赖

    通过 pip 安装 mlx-vlm,依赖苹果 MLX 框架。

  2. 第 2 步

    加载模型

    从 Hugging Face 等来源加载支持的 VLM 权重。

  3. 第 3 步

    输入多模态数据

    将文本、图像、视频或音频送入模型。

  4. 第 4 步

    本地推理

    MLX 在 Apple Silicon 上执行计算并生成文本输出。

  5. 第 5 步

    可选微调

    使用自有数据对模型进行微调并保存。

快速上手

  1. 1

    安装

    使用 pip 安装最新版 mlx-vlm。

    pip install -U mlx-vlm
  2. 2

    命令行推理

    通过 CLI 加载模型并输入图片和问题(具体命令见文档)。

  3. 3

    Python 脚本

    在 Python 代码中调用 mlx_vlm 进行推理。

  4. 4

    启动聊天界面

    使用 Gradio 界面进行交互式对话。

适合谁

  • 使用 Apple Silicon Mac 的开发者
  • 想在本地实验视觉语言模型的研究者
  • 需要本地多模态推理的隐私敏感用户
  • 希望微调 VLM 的机器学习工程师

不太适合

  • 使用 Windows 或 Linux 的用户
  • 需要大规模分布式训练的用户
  • 追求开箱即用、不想配置环境的初学者

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数近 6000,开发活跃。
  • 文档有独立文档站和模型专属文档,但部分功能说明较简略。
  • 社区895 个 fork 和 268 个开放 issue,有一定社区规模但 issue 较多。
  • 上手难度pip 安装简单,但需自行准备模型权重和配置环境。

同类项目怎么选

  • llama.cpp更侧重文本 LLM 的本地推理,多模态支持相对有限。
  • Ollama提供更简单的模型管理,但多模态模型覆盖和微调能力不如本项目专注。
  • MLX苹果官方框架,提供底层数组计算,本项目是其上的 VLM 专用封装。

使用前注意

  • · 仅支持 macOS 和 Apple Silicon,其他平台无法使用。
  • · 部分模型和高级功能(如分布式推理)可能需要额外配置。
  • · 开放 issue 较多,遇到问题可能需要自行排查。
  • · MIT 许可证,商用友好,但需注意模型权重自身的许可。

主题标签

llavallmmlxvision-transformerapple-siliconideficslocal-aipaligemmavision-frameworkvision-language-modelflorence2molmopixtral