AI 概览 · 由大模型根据 SKILL.md 与仓库数据生成 · 2026年11月3日
面向 AI 评估流程的 Skill 集合
该仓库收录了一组用于 AI 评估工作的 Skill,仓库简介说明其用于补充一门面向工程师和产品经理的 AI 评估课程。已采集的 Skill 资料具体涉及 LLM 流程故障分析、RAG 检索与生成评估、评审界面、评估审计、合成数据生成、评估器验证和评审提示词编写;部分 Skill 只有通用描述,实际能力需查看对应源文件确认。
包含 Skill
7
可以单独安装
GitHub Star
1,677
仓库累计 Star
近 7 天
+2
新增 Star
代码更新
2026年8月16日
最近一次推送
核心亮点
1覆盖评估任务
包含故障分析、RAG 评估及评估器相关 Skill。
2关注问题定位
故障分析 Skill 可用于阅读 traces 并系统归类 LLM 流程失效模式。
3适用于不同阶段
资料提到新建评估项目、流程重大变更、指标下降或事故后的分析场景。
能做什么
- 通过阅读 traces 识别并分类 LLM 流程的失效模式。
- 指导评估 RAG 流程的检索质量与生成质量。
- 支持检查生成内容的忠实度和相关性。
- 支持生成用于检索测试的合成问答对,以及优化分块策略。
- 仓库还包含评审界面、评估审计、合成数据、评估器验证和评审提示词相关 Skill,但采集资料未提供其具体操作细节。
适用场景
在 LLM 流程指标下降后,阅读 traces 并整理常见失效模式。
评估 RAG 系统的检索质量、生成忠实度或相关性。
为检索测试生成合成问答对,或检查分块策略。
在评估流程重大变更后,重新梳理可能出现的问题。
用之前和用之后
- 故障表现分散在 traces 中可按失效模式进行系统归类。
- RAG 检索与生成质量缺少明确检查方向可围绕检索质量、忠实度和相关性开展评估。
- 评估任务需要自行确定检查步骤可参考对应 Skill 的工作流,具体步骤以源文件为准。
它是怎么工作的
第 1 步
明确评估目标
第 2 步
检查流程与输出
第 3 步
归类问题并复核
快速上手
安装与复制命令见“安装方式”。
- 1
根据任务选择对应 Skill,例如故障分析或 RAG 评估。
- 2
打开仓库中对应的 SKILL.md 阅读完整说明。
- 3
按 Skill 指引准备所需材料并开展评估;具体输入要求需查看源文件。
- 4
核对分析结果与实际 traces 或评估数据。
适合谁
- 参与 LLM 应用评估的工程师
- 负责 AI 产品评估的产品经理
- 需要检查 RAG 检索或生成质量的团队成员
- 正在排查 LLM 流程指标下降或故障的使用者
局限
- 多个 Skill 的采集描述较笼统,尚不足以确认其具体操作方法和产出。
- 采集资料未列出各 Skill 的输入、输出或工作步骤。
- 实际使用方式和所需上下文应以对应 SKILL.md 为准。
使用前注意
- · 采集标注的各 Skill 风险等级为 high,使用前应查看对应源文件并确认适用范围。
- · 当前采集资料没有提供输入、输出及步骤细节,不宜仅凭摘要推断完整工作流程。
- · 处理 traces、评估数据或生成结果时,应核对结论是否与实际材料一致。
包含的 Skills · 7
- Build Review Interface工作流Build Review Interface 是一个可复用的 AI Agent Skill,适合用于数据分析、指标解释和结论整理。skills/build-review-interface/SKILL.md
- Error Analysis工作流Error Analysis 是一个可复用的 AI Agent Skill,适合用于Help the user systematically identify and categorize failure modes in an LLM pipeline by reading traces. Use when starting a new eval project, after significant pipeline changes (new features, modeskills/error-analysis/SKILL.md
- Eval Audit工作流Eval Audit 是一个可复用的 AI Agent Skill,适合用于数据分析、指标解释和结论整理。skills/eval-audit/SKILL.md
- Evaluate Rag工作流Evaluate Rag 是一个可复用的 AI Agent Skill,适合用于Guides evaluation of RAG pipeline retrieval and generation quality. Use when evaluating a retrieval-augmented generation system, measuring retrieval quality, assessing generation faithfulness or releskills/evaluate-rag/SKILL.md
- Generate Synthetic Data工作流Generate Synthetic Data 是一个可复用的 AI Agent Skill,适合用于数据分析、指标解释和结论整理。skills/generate-synthetic-data/SKILL.md
- Validate Evaluator工作流Validate Evaluator 是一个可复用的 AI Agent Skill,适合用于代码开发、调试、评审或工程交付前的任务拆解。skills/validate-evaluator/SKILL.md
- Write Judge Prompt工作流Write Judge Prompt 是一个可复用的 AI Agent Skill,适合用于代码开发、调试、评审或工程交付前的任务拆解。skills/write-judge-prompt/SKILL.md
公开来源
相关 Skills
查看更多diagram-design
1 Skills图表设计技能 · cathrynlavery
用于数据分析、指标解释和结论整理,帮助把信息转成图表设计。仓库简介提及 45 种图表类型,具体 Skill 资料未列出类型清单。
lieflat-charts
1 Skills交互图表生成技能 · larashero3-dotcom
面向 AI 助手的数据可视化技能,可将数据制作成交互式 HTML 图表、演示和整页报告,适合数据展示与汇报。
ClawBio
109 Skills生物信息学技能库 · ClawBio
覆盖序列分析、组学数据获取、测序质控与遗传数据分析等场景,可用于按工作流整理输入、执行分析并生成报告。
