AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
评估大模型应用效果的 Python 框架,提供客观指标和测试数据生成。
Ragas 是一个用于评估和优化大语言模型(LLM)应用的 Python 工具包。它提供基于 LLM 和传统方法的客观指标、自动生成测试数据集,并能与 LangChain 等框架及可观测性工具集成,帮助团队用数据驱动的方式检验生成质量。
推荐指数
LLM 应用评测领域较成熟的开源选择,功能覆盖指标、数据生成和集成,适合需要系统化评测的团队。
近 7 天
+79
新增 Star
总 Star 排名
#436
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月9日
核心亮点
1客观指标
同时提供基于 LLM 和传统方法的评测指标,减少主观判断。
2测试数据生成
没有现成测试集时,可自动生成覆盖多种场景的评测数据。
3框架集成
可与 LangChain 等主流 LLM 框架及可观测性工具配合使用。
4反馈闭环
支持利用生产数据持续改进 LLM 应用。
5快速模板
提供 ragas quickstart 命令,可一键创建 RAG 评测项目。
适用场景
RAG 系统评测
例如:用 ragas quickstart rag_eval 生成项目,对检索增强生成应用的回答质量打分。
自定义维度评估
例如:用 DiscreteMetric 定义“摘要准确性”指标,让 LLM 输出 accurate 或 inaccurate 并给出理由。
缺少测试集时
例如:自动生成覆盖多种场景的测试数据,再运行评测流程。
生产数据反馈
例如:收集线上应用数据,持续评估并优化 LLM 应用表现。
它是怎么工作的
第 1 步
安装并配置 LLM
通过 pip 安装 ragas,并设置 OpenAI 等模型的 API Key。
第 2 步
选择或定义指标
使用内置指标,或用 DiscreteMetric 等自定义评测维度。
第 3 步
准备或生成数据
使用已有测试集,或让框架自动生成测试数据。
第 4 步
运行评测
调用指标的评分方法,得到分数和原因。
第 5 步
分析并迭代
根据评测结果和反馈闭环优化应用。
快速上手
- 1
安装
通过 PyPI 安装 ragas。
pip install ragas - 2
创建示例项目
用 quickstart 命令生成 RAG 评测项目模板。
ragas quickstart rag_eval - 3
设置 API Key
配置 OPENAI_API_KEY 环境变量供 LLM 评测使用。
- 4
运行自定义指标
用 DiscreteMetric 对应用输出打分并查看原因。
适合谁
- 需要系统化评测 LLM 应用的开发者
- 构建 RAG 系统并关注回答质量的团队
- 希望用数据驱动方式优化提示词或流程的工程师
不太适合
- 只想做简单人工抽查、不需要指标体系的个人
- 不涉及 LLM 应用评测的普通项目
成熟度
- 活跃度最近更新在 2026 年 11 月,star 超过 1.6 万,持续活跃。
- 文档有独立文档站、快速开始指南和示例项目。
- 社区有 Discord 社区和 1800 多个 fork,但开放 issue 约 555 个。
- 上手难度pip 安装即可,提供 quickstart 模板和预置指标,上手门槛较低。
同类项目怎么选
- DeepEval同样面向 LLM 评测,提供 pytest 风格的测试写法,侧重点和指标集不同。
- promptfoo偏重提示词和模型对比测试,支持命令行和配置文件驱动。
- OpenAI EvalsOpenAI 官方评测框架,与 OpenAI 生态绑定更紧。
使用前注意
- · 采用 LLM 作为评判者时会产生模型调用成本,需要配置相应 API Key。
- · 默认会收集匿名使用数据,可通过设置 RAGAS_DO_NOT_TRACK=true 关闭。
- · 部分模板(如 agent_evals、prompt_evals)在 README 中标注为即将推出,尚未可用。
- · 评测结果依赖所选指标和评判模型,需要结合业务场景验证指标合理性。
