open-compass GitHub avatar

opencompass

Python
大模型评测平台open-compass最近推送 2026年11月18日
数据与评测Apache-2.07,602916326 issues7 天 +18

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一站式大模型评测平台,支持多模型、多数据集统一评测。

OpenCompass 是一个大模型评测平台,支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等模型,集成 100 多个数据集,覆盖知识、推理、编程、科学、语言、长上下文和安全等维度。它提供从数据集与模型配置、推理、评测到结果汇总的完整流程,并集成 VLMEvalKit 以统一评测文本和多模态数据集。

推荐指数

5.0

功能完整、生态活跃的主流 LLM 评测框架,适合需要系统化评测的团队。

近 7 天

+18

新增 Star

总 Star 排名

#869

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年6月15日

核心亮点

  • 1模型覆盖广

    支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等 API 与本地模型。

  • 2数据集丰富

    集成 100 多个数据集,覆盖知识、推理、编程、科学、长上下文和安全等维度。

  • 3推理后端多

    支持 HuggingFace、LMDeploy、vLLM 等多种推理后端。

  • 4评测方式全

    支持零样本、少样本、思维链、规则评测和 LLM-as-judge。

  • 5可扩展架构

    可灵活接入新模型、数据集、评测器、推理后端和任务调度系统。

适用场景

  • 模型选型对比

    例如:在同一套数据集上评测 Qwen 与 DeepSeek,比较各能力维度得分。

  • 自研模型验收

    例如:用 vLLM 部署本地模型,跑编程和推理数据集验证效果。

  • 多模态评测

    例如:通过集成的 VLMEvalKit 评测 MMBench、MMMU-Pro 等多模态数据集。

  • 大规模批量评测

    例如:利用任务切分、并发和分布式执行完成大批量评测任务。

它是怎么工作的

  1. 第 1 步

    配置模型与数据集

    在配置中指定待评测模型和数据集组合。

  2. 第 2 步

    执行推理

    通过 HuggingFace、LMDeploy、vLLM 或 API 后端生成模型输出。

  3. 第 3 步

    运行评测

    按零样本、少样本、思维链、规则或 LLM-as-judge 方式打分。

  4. 第 4 步

    汇总结果

    生成评测结果并进行汇总展示。

快速上手

  1. 1

    安装

    按官方文档安装 OpenCompass。

  2. 2

    准备配置

    编写模型与数据集配置,可参考仓库中的示例配置。

  3. 3

    启动评测

    运行评测命令,具体命令见官方文档。

适合谁

  • 需要系统评测多个大模型的算法团队
  • 做模型选型对比的开发者
  • 研究 LLM 能力评测的研究人员
  • 需要统一文本与多模态评测的团队

不太适合

  • 只想快速试玩单个模型的个人用户
  • 没有 GPU 或 API 预算的轻量使用者

成熟度

  • 活跃度最近更新在 2026 年 11 月,更新频繁。
  • 文档有独立文档站和中英文文档,README 信息完整。
  • 社区约 7600 star、900 多 fork,有 Discord 和微信社群。
  • 上手难度配置项多、流程较长,新手需要阅读文档。

同类项目怎么选

  • lm-evaluation-harnessEleutherAI 的评测框架,数据集与模型接入方式不同,生态侧重不同。
  • VLMEvalKit专注多模态评测,OpenCompass 已将其集成。

使用前注意

  • · 评测 API 模型会产生调用费用。
  • · 大规模评测需要 GPU 资源和较长时间。
  • · 开源许可为 Apache-2.0,商用需遵守许可条款。
  • · 评测结果受数据集版本和配置影响,跨版本对比需谨慎。

主题标签

evaluationbenchmarklarge-language-modelllmllm-eval