vibrantlabsai GitHub avatar

ragas

Python
大模型评测框架vibrantlabsai最近推送 2026年11月14日
数据与评测Apache-2.016.4k1,830564 issues7 天 +79

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

评估大模型应用效果的 Python 框架,提供客观指标和测试数据生成。

Ragas 是一个用于评估和优化大语言模型(LLM)应用的 Python 工具包。它提供基于 LLM 和传统方法的客观指标、自动生成测试数据集,并能与 LangChain 等框架及可观测性工具集成,帮助团队用数据驱动的方式检验生成质量。

推荐指数

4.0

LLM 应用评测领域较成熟的开源选择,功能覆盖指标、数据生成和集成,适合需要系统化评测的团队。

近 7 天

+79

新增 Star

总 Star 排名

#436

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月9日

核心亮点

  • 1客观指标

    同时提供基于 LLM 和传统方法的评测指标,减少主观判断。

  • 2测试数据生成

    没有现成测试集时,可自动生成覆盖多种场景的评测数据。

  • 3框架集成

    可与 LangChain 等主流 LLM 框架及可观测性工具配合使用。

  • 4反馈闭环

    支持利用生产数据持续改进 LLM 应用。

  • 5快速模板

    提供 ragas quickstart 命令,可一键创建 RAG 评测项目。

适用场景

  • RAG 系统评测

    例如:用 ragas quickstart rag_eval 生成项目,对检索增强生成应用的回答质量打分。

  • 自定义维度评估

    例如:用 DiscreteMetric 定义“摘要准确性”指标,让 LLM 输出 accurate 或 inaccurate 并给出理由。

  • 缺少测试集时

    例如:自动生成覆盖多种场景的测试数据,再运行评测流程。

  • 生产数据反馈

    例如:收集线上应用数据,持续评估并优化 LLM 应用表现。

它是怎么工作的

  1. 第 1 步

    安装并配置 LLM

    通过 pip 安装 ragas,并设置 OpenAI 等模型的 API Key。

  2. 第 2 步

    选择或定义指标

    使用内置指标,或用 DiscreteMetric 等自定义评测维度。

  3. 第 3 步

    准备或生成数据

    使用已有测试集,或让框架自动生成测试数据。

  4. 第 4 步

    运行评测

    调用指标的评分方法,得到分数和原因。

  5. 第 5 步

    分析并迭代

    根据评测结果和反馈闭环优化应用。

快速上手

  1. 1

    安装

    通过 PyPI 安装 ragas。

    pip install ragas
  2. 2

    创建示例项目

    用 quickstart 命令生成 RAG 评测项目模板。

    ragas quickstart rag_eval
  3. 3

    设置 API Key

    配置 OPENAI_API_KEY 环境变量供 LLM 评测使用。

  4. 4

    运行自定义指标

    用 DiscreteMetric 对应用输出打分并查看原因。

适合谁

  • 需要系统化评测 LLM 应用的开发者
  • 构建 RAG 系统并关注回答质量的团队
  • 希望用数据驱动方式优化提示词或流程的工程师

不太适合

  • 只想做简单人工抽查、不需要指标体系的个人
  • 不涉及 LLM 应用评测的普通项目

成熟度

  • 活跃度最近更新在 2026 年 11 月,star 超过 1.6 万,持续活跃。
  • 文档有独立文档站、快速开始指南和示例项目。
  • 社区有 Discord 社区和 1800 多个 fork,但开放 issue 约 555 个。
  • 上手难度pip 安装即可,提供 quickstart 模板和预置指标,上手门槛较低。

同类项目怎么选

  • DeepEval同样面向 LLM 评测,提供 pytest 风格的测试写法,侧重点和指标集不同。
  • promptfoo偏重提示词和模型对比测试,支持命令行和配置文件驱动。
  • OpenAI EvalsOpenAI 官方评测框架,与 OpenAI 生态绑定更紧。

使用前注意

  • · 采用 LLM 作为评判者时会产生模型调用成本,需要配置相应 API Key。
  • · 默认会收集匿名使用数据,可通过设置 RAGAS_DO_NOT_TRACK=true 关闭。
  • · 部分模板(如 agent_evals、prompt_evals)在 README 中标注为即将推出,尚未可用。
  • · 评测结果依赖所选指标和评判模型,需要结合业务场景验证指标合理性。

主题标签

llmllmopsevaluation