hamelsmu GitHub avatar

evals-skills

1.7K Stars7 Skills173 ForksMIT8月16日更新Skill 仓库

AI 概览 · 由大模型根据 SKILL.md 与仓库数据生成 · 2026年11月3日

面向 AI 评估流程的 Skill 集合

该仓库收录了一组用于 AI 评估工作的 Skill,仓库简介说明其用于补充一门面向工程师和产品经理的 AI 评估课程。已采集的 Skill 资料具体涉及 LLM 流程故障分析、RAG 检索与生成评估、评审界面、评估审计、合成数据生成、评估器验证和评审提示词编写;部分 Skill 只有通用描述,实际能力需查看对应源文件确认。

包含 Skill

7

可以单独安装

GitHub Star

1,677

仓库累计 Star

近 7 天

+2

新增 Star

代码更新

2026年8月16日

最近一次推送

核心亮点

  • 1覆盖评估任务

    包含故障分析、RAG 评估及评估器相关 Skill。

  • 2关注问题定位

    故障分析 Skill 可用于阅读 traces 并系统归类 LLM 流程失效模式。

  • 3适用于不同阶段

    资料提到新建评估项目、流程重大变更、指标下降或事故后的分析场景。

能做什么

  • 通过阅读 traces 识别并分类 LLM 流程的失效模式。
  • 指导评估 RAG 流程的检索质量与生成质量。
  • 支持检查生成内容的忠实度和相关性。
  • 支持生成用于检索测试的合成问答对,以及优化分块策略。
  • 仓库还包含评审界面、评估审计、合成数据、评估器验证和评审提示词相关 Skill,但采集资料未提供其具体操作细节。

适用场景

  • 在 LLM 流程指标下降后,阅读 traces 并整理常见失效模式。

  • 评估 RAG 系统的检索质量、生成忠实度或相关性。

  • 为检索测试生成合成问答对,或检查分块策略。

  • 在评估流程重大变更后,重新梳理可能出现的问题。

用之前和用之后

  • 故障表现分散在 traces 中可按失效模式进行系统归类。
  • RAG 检索与生成质量缺少明确检查方向可围绕检索质量、忠实度和相关性开展评估。
  • 评估任务需要自行确定检查步骤可参考对应 Skill 的工作流,具体步骤以源文件为准。

它是怎么工作的

  1. 第 1 步

    明确评估目标

  2. 第 2 步

    检查流程与输出

  3. 第 3 步

    归类问题并复核

快速上手

安装与复制命令见“安装方式”。

  1. 1

    根据任务选择对应 Skill,例如故障分析或 RAG 评估。

  2. 2

    打开仓库中对应的 SKILL.md 阅读完整说明。

  3. 3

    按 Skill 指引准备所需材料并开展评估;具体输入要求需查看源文件。

  4. 4

    核对分析结果与实际 traces 或评估数据。

适合谁

  • 参与 LLM 应用评估的工程师
  • 负责 AI 产品评估的产品经理
  • 需要检查 RAG 检索或生成质量的团队成员
  • 正在排查 LLM 流程指标下降或故障的使用者

局限

  • 多个 Skill 的采集描述较笼统,尚不足以确认其具体操作方法和产出。
  • 采集资料未列出各 Skill 的输入、输出或工作步骤。
  • 实际使用方式和所需上下文应以对应 SKILL.md 为准。

使用前注意

  • · 采集标注的各 Skill 风险等级为 high,使用前应查看对应源文件并确认适用范围。
  • · 当前采集资料没有提供输入、输出及步骤细节,不宜仅凭摘要推断完整工作流程。
  • · 处理 traces、评估数据或生成结果时,应核对结论是否与实际材料一致。

包含的 Skills · 7

公开来源

相关 Skills

查看更多