modelscope GitHub avatar

evalscope

Python
大模型评测框架modelscope最近推送 2026年11月18日
数据与评测Apache-2.03,71257822 issues7 天 +31

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一站式大模型评测框架,一条命令完成能力评测、性能压测和结果可视化。

EvalScope 是 ModelScope 社区开源的大模型评测框架,用一条命令即可启动。它覆盖 LLM、VLM、Embedding、Reranker、AIGC 等模型类型,支持能力评测、推理性能压测和 Web 可视化报告,并集成 OpenCompass、VLMEvalKit、RAGEval 等评测后端。

推荐指数

4.0

功能覆盖全面、更新活跃的国产评测框架,适合需要统一评测流程的团队。

近 7 天

+31

新增 Star

总 Star 排名

#1544

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月7日

核心亮点

  • 1内置主流基准

    自带 MMLU、C-Eval、GSM8K 等常用评测集。

  • 2多模型类型

    支持 LLM、VLM、Embedding、Reranker、AIGC 等评测。

  • 3性能压测

    提供 TTFT、TPOT 等推理服务性能指标测试。

  • 4可视化报告

    Web Dashboard 支持多模型对比和预测明细查看。

  • 5Agent 评测

    支持多轮 AgentLoop 与 Docker/E2B 沙箱运行基准。

适用场景

  • 模型选型对比

    例如:用同一批基准测试多个开源模型并生成对比报告。

  • 推理服务压测

    例如:对部署好的 OpenAI 兼容接口测 TTFT 和吞吐。

  • 多模态评测

    例如:评测视觉语言模型在图表理解类基准上的表现。

  • Agent 能力验证

    例如:在沙箱中运行 SWE-bench Agentic 类任务。

它是怎么工作的

  1. 第 1 步

    安装框架

    通过 pip 安装 evalscope 包。

  2. 第 2 步

    指定模型与数据集

    用命令行参数传入模型名、API 地址和评测集。

  3. 第 3 步

    执行评测

    框架调用对应后端完成推理与打分。

  4. 第 4 步

    查看报告

    生成可视化报告,支持多模型对比与明细查看。

快速上手

  1. 1

    安装

    要求 Python 3.11 及以上。

    pip install evalscope
  2. 2

    运行评测

    以 OpenAI 兼容接口评测 gsm8k 前 5 条。

    evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

适合谁

  • 模型开发者
  • 研究团队
  • 需要统一评测流程的工程团队
  • 做模型选型对比的人员

不太适合

  • 只想做简单单条推理测试的用户
  • 无法提供模型 API 或本地算力的用户

成熟度

  • 活跃度最近更新在 2026 年 11 月,更新日志频繁。
  • 文档有中英文文档站和产品官网。
  • 社区约 3700 star、570 fork,开放 issue 仅 15 个。
  • 上手难度一条命令即可启动,但需 Python 3.11 以上。

同类项目怎么选

  • OpenCompass本项目将其作为可选评测后端之一集成。
  • VLMEvalKit本项目同样集成该多模态评测工具作为后端。
  • lm-evaluation-harness更偏学术基准评测,本项目额外提供压测和可视化。

使用前注意

  • · 需要 Python 3.11 及以上版本。
  • · 评测依赖模型 API 或本地算力,会产生调用成本。
  • · Agent 类评测依赖 Docker 或 E2B 远程沙箱。
  • · 采用 Apache-2.0 许可,商用需遵守许可条款。

主题标签

evaluationllmperformanceragvlm