AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
一站式大模型评测框架,一条命令完成能力评测、性能压测和结果可视化。
EvalScope 是 ModelScope 社区开源的大模型评测框架,用一条命令即可启动。它覆盖 LLM、VLM、Embedding、Reranker、AIGC 等模型类型,支持能力评测、推理性能压测和 Web 可视化报告,并集成 OpenCompass、VLMEvalKit、RAGEval 等评测后端。
推荐指数
功能覆盖全面、更新活跃的国产评测框架,适合需要统一评测流程的团队。
近 7 天
+31
新增 Star
总 Star 排名
#1544
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年12月7日
核心亮点
1内置主流基准
自带 MMLU、C-Eval、GSM8K 等常用评测集。
2多模型类型
支持 LLM、VLM、Embedding、Reranker、AIGC 等评测。
3性能压测
提供 TTFT、TPOT 等推理服务性能指标测试。
4可视化报告
Web Dashboard 支持多模型对比和预测明细查看。
5Agent 评测
支持多轮 AgentLoop 与 Docker/E2B 沙箱运行基准。
适用场景
模型选型对比
例如:用同一批基准测试多个开源模型并生成对比报告。
推理服务压测
例如:对部署好的 OpenAI 兼容接口测 TTFT 和吞吐。
多模态评测
例如:评测视觉语言模型在图表理解类基准上的表现。
Agent 能力验证
例如:在沙箱中运行 SWE-bench Agentic 类任务。
它是怎么工作的
第 1 步
安装框架
通过 pip 安装 evalscope 包。
第 2 步
指定模型与数据集
用命令行参数传入模型名、API 地址和评测集。
第 3 步
执行评测
框架调用对应后端完成推理与打分。
第 4 步
查看报告
生成可视化报告,支持多模型对比与明细查看。
快速上手
- 1
安装
要求 Python 3.11 及以上。
pip install evalscope - 2
运行评测
以 OpenAI 兼容接口评测 gsm8k 前 5 条。
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
适合谁
- 模型开发者
- 研究团队
- 需要统一评测流程的工程团队
- 做模型选型对比的人员
不太适合
- 只想做简单单条推理测试的用户
- 无法提供模型 API 或本地算力的用户
成熟度
- 活跃度最近更新在 2026 年 11 月,更新日志频繁。
- 文档有中英文文档站和产品官网。
- 社区约 3700 star、570 fork,开放 issue 仅 15 个。
- 上手难度一条命令即可启动,但需 Python 3.11 以上。
同类项目怎么选
- OpenCompass本项目将其作为可选评测后端之一集成。
- VLMEvalKit本项目同样集成该多模态评测工具作为后端。
- lm-evaluation-harness更偏学术基准评测,本项目额外提供压测和可视化。
使用前注意
- · 需要 Python 3.11 及以上版本。
- · 评测依赖模型 API 或本地算力,会产生调用成本。
- · Agent 类评测依赖 Docker 或 E2B 远程沙箱。
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
