AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
评估 AI Agent 技能与插件的质量、安全、重叠和实际效果。
NVIDIA 开源的多层评估框架,用于检查 AI Agent 技能(按 Agent Skills 规范组织的指令文件夹)和插件。它先做静态质量检查,再检测技能之间的语义重叠,生成合成评测数据集,最后在真实 Agent 中对比有技能和无技能时的任务表现。项目属于 NVIDIA Verified Skills 流水线的一部分。
推荐指数
功能覆盖质量、安全、重叠和真实效果,适合需要给 Agent 技能做发布前把关的团队。
近 7 天
+3,051
新增 Star
总 Star 排名
#1531
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年6月24日
核心亮点
1三层评估
从静态质量到语义重叠再到真实 Agent 运行,逐层深入。
2无需密钥起步
quality-check 不需要 API Key、GPU 或 Docker,直接给出百分制评分。
3兼容性检查
harness-check 可判断技能能否被 Claude Code、Codex 等 Agent 加载。
4CI 集成
提供 ci init 命令,在仓库中自动检查每次技能变更。
5合成数据集
可生成评测数据集,用于衡量技能对 Agent 行为的影响。
适用场景
技能发布前把关
例如:提交新技能前运行 quality-check,确认评分达到默认 70 分门槛。
多 Agent 兼容性验证
例如:用 harness-check 查看技能在 Claude Code、Codex、opencode 等环境中是否被加载。
技能库去重
例如:检测多个技能之间的语义重叠,避免指令重复。
效果量化
例如:在真实 Agent 中对比有无技能的任务结果,判断技能是否真的有用。
它是怎么工作的
第 1 步
静态质量检查
扫描技能目录,输出百分制评分和具体问题。
第 2 步
语义重叠检测
用嵌入模型比较技能之间的语义相似度。
第 3 步
生成评测数据
合成评测数据集,为后续评估提供样本。
第 4 步
真实 Agent 评估
在支持的 Agent 中运行任务,对比有技能和无技能的结果。
快速上手
- 1
安装
在 Python 3.12–3.14 环境中安装 CLI。
pip install skillevaluator - 2
无密钥检查
不需要 API Key,直接得到质量评分。
skillevaluator quality-check ./my-skill - 3
接入 CI
在 GitHub 仓库中生成 CI 配置 PR。
skillevaluator ci init - 4
完整评估
配置 NVIDIA Build 密钥后运行全部三层。
skillevaluator validate ./my-skill
适合谁
- 维护 Agent 技能或插件的开发者
- 需要给技能做发布前质量把关的团队
- 想把技能检查接入 CI 的工程团队
不太适合
- 只想写技能、不关心评估流程的个人
- 无法使用 Docker 或外部模型服务的环境
成熟度
- 活跃度2026 年 6 月创建,11 月仍有更新,star 约 3000。
- 文档有独立文档站、论文和博客,README 覆盖安装与三层流程。
- 社区有 432 个 fork 和 62 个开放 issue,社区规模中等。
- 上手难度无密钥即可跑质量检查,但完整三层需要密钥和 Docker。
使用前注意
- · 完整三层评估需要 NVIDIA Build API Key 和 Docker,部分功能不在 PyPI 0.9.0 中。
- · quality-check 只做静态质量检查,安全与真实效果需要额外步骤。
- · 免费额度受 NVIDIA 访问条款和速率限制约束。
- · 项目较新,评分可能随版本变化。
