AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
一站式大模型评测平台,支持多模型、多数据集统一评测。
OpenCompass 是一个大模型评测平台,支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等模型,集成 100 多个数据集,覆盖知识、推理、编程、科学、语言、长上下文和安全等维度。它提供从数据集与模型配置、推理、评测到结果汇总的完整流程,并集成 VLMEvalKit 以统一评测文本和多模态数据集。
推荐指数
功能完整、生态活跃的主流 LLM 评测框架,适合需要系统化评测的团队。
近 7 天
+18
新增 Star
总 Star 排名
#869
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年6月15日
核心亮点
1模型覆盖广
支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等 API 与本地模型。
2数据集丰富
集成 100 多个数据集,覆盖知识、推理、编程、科学、长上下文和安全等维度。
3推理后端多
支持 HuggingFace、LMDeploy、vLLM 等多种推理后端。
4评测方式全
支持零样本、少样本、思维链、规则评测和 LLM-as-judge。
5可扩展架构
可灵活接入新模型、数据集、评测器、推理后端和任务调度系统。
适用场景
模型选型对比
例如:在同一套数据集上评测 Qwen 与 DeepSeek,比较各能力维度得分。
自研模型验收
例如:用 vLLM 部署本地模型,跑编程和推理数据集验证效果。
多模态评测
例如:通过集成的 VLMEvalKit 评测 MMBench、MMMU-Pro 等多模态数据集。
大规模批量评测
例如:利用任务切分、并发和分布式执行完成大批量评测任务。
它是怎么工作的
第 1 步
配置模型与数据集
在配置中指定待评测模型和数据集组合。
第 2 步
执行推理
通过 HuggingFace、LMDeploy、vLLM 或 API 后端生成模型输出。
第 3 步
运行评测
按零样本、少样本、思维链、规则或 LLM-as-judge 方式打分。
第 4 步
汇总结果
生成评测结果并进行汇总展示。
快速上手
- 1
安装
按官方文档安装 OpenCompass。
- 2
准备配置
编写模型与数据集配置,可参考仓库中的示例配置。
- 3
启动评测
运行评测命令,具体命令见官方文档。
适合谁
- 需要系统评测多个大模型的算法团队
- 做模型选型对比的开发者
- 研究 LLM 能力评测的研究人员
- 需要统一文本与多模态评测的团队
不太适合
- 只想快速试玩单个模型的个人用户
- 没有 GPU 或 API 预算的轻量使用者
成熟度
- 活跃度最近更新在 2026 年 11 月,更新频繁。
- 文档有独立文档站和中英文文档,README 信息完整。
- 社区约 7600 star、900 多 fork,有 Discord 和微信社群。
- 上手难度配置项多、流程较长,新手需要阅读文档。
同类项目怎么选
- lm-evaluation-harnessEleutherAI 的评测框架,数据集与模型接入方式不同,生态侧重不同。
- VLMEvalKit专注多模态评测,OpenCompass 已将其集成。
使用前注意
- · 评测 API 模型会产生调用费用。
- · 大规模评测需要 GPU 资源和较长时间。
- · 开源许可为 Apache-2.0,商用需遵守许可条款。
- · 评测结果受数据集版本和配置影响,跨版本对比需谨慎。
