open-compass GitHub avatar

VLMEvalKit

Python
视觉语言模型评测工具open-compass最近推送 2026年11月18日
数据与评测Apache-2.04,499801345 issues7 天 +17

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个开源工具包,用一条命令评估大型视觉语言模型在多种基准上的表现。

VLMEvalKit 是面向大型多模态模型(LMM)的开源评估工具包,支持 220+ 模型和 80+ 基准。它采用生成式评估,提供精确匹配和基于 LLM 的答案提取两种结果,省去多仓库数据准备的繁琐工作。

推荐指数

4.0

多模态模型评估的实用工具,覆盖广、上手快,适合需要系统比较模型的开发者。

近 7 天

+17

新增 Star

总 Star 排名

#1354

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月1日

核心亮点

  • 1覆盖广泛

    支持 220+ 多模态模型和 80+ 基准,涵盖图像、视频、音频等模态。

  • 2一键评估

    一条命令即可在多个基准上评估模型,无需手动准备各仓库数据。

  • 3双评估方式

    同时提供精确匹配和基于 LLM 的答案提取结果,便于对比。

  • 4分布式推理

    支持 LMDeploy 或 VLLM 进行多节点分布式推理,加速大规模评估。

  • 5持续更新

    频繁新增模型和基准,近期加入音频评估和长回复处理。

适用场景

  • 模型选型对比

    例如:在 MMMU 基准上同时评估 Qwen2.5-VL 和 InternVL3,比较准确率。

  • 新模型快速验证

    例如:对刚发布的视觉语言模型跑一遍标准基准,生成评估报告。

  • 学术研究复现

    例如:使用内置评估记录和排行榜数据,复现论文中的基准结果。

它是怎么工作的

  1. 第 1 步

    配置模型

    在 config.py 中指定要评估的模型及 API 密钥或本地路径。

  2. 第 2 步

    选择基准

    从支持的 80+ 基准中选择一个或多个数据集。

  3. 第 3 步

    生成预测

    模型对基准问题生成答案,支持分布式推理加速。

  4. 第 4 步

    评估打分

    用精确匹配或 LLM 提取答案,计算准确率等指标。

快速上手

  1. 1

    安装

    通过 pip 安装 vlmeval 包。

    pip install vlmeval
  2. 2

    配置模型

    在 config.py 中填入模型名称和 API 密钥。

  3. 3

    运行评估

    使用命令行指定模型和基准执行评估。

    python run.py --model Qwen2.5-VL-7B --data MMMU

适合谁

  • 多模态模型研究者
  • 需要对比多个模型的算法工程师
  • 评估基准维护者

不太适合

  • 只想快速试用单个模型的初学者
  • 不涉及视觉语言模型的项目

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续新增模型和基准。
  • 文档提供中英日文 README 和快速开始文档,但部分细节需查阅代码。
  • 社区4.5k stars、800+ forks,有 Discord 和贡献者指南。
  • 上手难度一条命令即可评估,但配置模型和 API 密钥需要一定经验。

同类项目怎么选

  • lmms-eval同样支持多模态评估,但模型和基准覆盖范围不同,VLMEvalKit 更侧重中文社区和排行榜集成。
  • OpenCompassOpenCompass 是更通用的大模型评估平台,VLMEvalKit 专注视觉语言模型。

使用前注意

  • · 评估依赖外部模型 API 或本地 GPU 资源,可能产生费用或硬件要求。
  • · 部分基准数据集需要单独下载,注意存储空间。
  • · 使用 LLM 提取答案时需配置相应 API 密钥。
  • · Apache-2.0 许可,商用需遵守条款。

主题标签

gpt-4vlarge-language-modelsllavamulti-modalopenaivqallmopenai-apiqwengptcomputer-visionpytorchgpt4chatgptclipvitevaluationclaudegemini