AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一个开源工具包,用一条命令评估大型视觉语言模型在多种基准上的表现。
VLMEvalKit 是面向大型多模态模型(LMM)的开源评估工具包,支持 220+ 模型和 80+ 基准。它采用生成式评估,提供精确匹配和基于 LLM 的答案提取两种结果,省去多仓库数据准备的繁琐工作。
推荐指数
多模态模型评估的实用工具,覆盖广、上手快,适合需要系统比较模型的开发者。
近 7 天
+17
新增 Star
总 Star 排名
#1354
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年12月1日
核心亮点
1覆盖广泛
支持 220+ 多模态模型和 80+ 基准,涵盖图像、视频、音频等模态。
2一键评估
一条命令即可在多个基准上评估模型,无需手动准备各仓库数据。
3双评估方式
同时提供精确匹配和基于 LLM 的答案提取结果,便于对比。
4分布式推理
支持 LMDeploy 或 VLLM 进行多节点分布式推理,加速大规模评估。
5持续更新
频繁新增模型和基准,近期加入音频评估和长回复处理。
适用场景
模型选型对比
例如:在 MMMU 基准上同时评估 Qwen2.5-VL 和 InternVL3,比较准确率。
新模型快速验证
例如:对刚发布的视觉语言模型跑一遍标准基准,生成评估报告。
学术研究复现
例如:使用内置评估记录和排行榜数据,复现论文中的基准结果。
它是怎么工作的
第 1 步
配置模型
在 config.py 中指定要评估的模型及 API 密钥或本地路径。
第 2 步
选择基准
从支持的 80+ 基准中选择一个或多个数据集。
第 3 步
生成预测
模型对基准问题生成答案,支持分布式推理加速。
第 4 步
评估打分
用精确匹配或 LLM 提取答案,计算准确率等指标。
快速上手
- 1
安装
通过 pip 安装 vlmeval 包。
pip install vlmeval - 2
配置模型
在 config.py 中填入模型名称和 API 密钥。
- 3
运行评估
使用命令行指定模型和基准执行评估。
python run.py --model Qwen2.5-VL-7B --data MMMU
适合谁
- 多模态模型研究者
- 需要对比多个模型的算法工程师
- 评估基准维护者
不太适合
- 只想快速试用单个模型的初学者
- 不涉及视觉语言模型的项目
成熟度
- 活跃度最近更新于 2026 年 11 月,持续新增模型和基准。
- 文档提供中英日文 README 和快速开始文档,但部分细节需查阅代码。
- 社区4.5k stars、800+ forks,有 Discord 和贡献者指南。
- 上手难度一条命令即可评估,但配置模型和 API 密钥需要一定经验。
同类项目怎么选
- lmms-eval同样支持多模态评估,但模型和基准覆盖范围不同,VLMEvalKit 更侧重中文社区和排行榜集成。
- OpenCompassOpenCompass 是更通用的大模型评估平台,VLMEvalKit 专注视觉语言模型。
使用前注意
- · 评估依赖外部模型 API 或本地 GPU 资源,可能产生费用或硬件要求。
- · 部分基准数据集需要单独下载,注意存储空间。
- · 使用 LLM 提取答案时需配置相应 API 密钥。
- · Apache-2.0 许可,商用需遵守条款。
