NVIDIA GitHub avatar

SkillEvaluator

Python
Agent Skill 评测框架NVIDIA最近推送 2026年11月19日
数据与评测Apache-2.03,75351867 issues7 天 +3,051

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

评估 AI Agent 技能与插件的质量、安全、重叠和实际效果。

NVIDIA 开源的多层评估框架,用于检查 AI Agent 技能(按 Agent Skills 规范组织的指令文件夹)和插件。它先做静态质量检查,再检测技能之间的语义重叠,生成合成评测数据集,最后在真实 Agent 中对比有技能和无技能时的任务表现。项目属于 NVIDIA Verified Skills 流水线的一部分。

推荐指数

4.0

功能覆盖质量、安全、重叠和真实效果,适合需要给 Agent 技能做发布前把关的团队。

近 7 天

+3,051

新增 Star

总 Star 排名

#1531

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年6月24日

核心亮点

  • 1三层评估

    从静态质量到语义重叠再到真实 Agent 运行,逐层深入。

  • 2无需密钥起步

    quality-check 不需要 API Key、GPU 或 Docker,直接给出百分制评分。

  • 3兼容性检查

    harness-check 可判断技能能否被 Claude Code、Codex 等 Agent 加载。

  • 4CI 集成

    提供 ci init 命令,在仓库中自动检查每次技能变更。

  • 5合成数据集

    可生成评测数据集,用于衡量技能对 Agent 行为的影响。

适用场景

  • 技能发布前把关

    例如:提交新技能前运行 quality-check,确认评分达到默认 70 分门槛。

  • 多 Agent 兼容性验证

    例如:用 harness-check 查看技能在 Claude Code、Codex、opencode 等环境中是否被加载。

  • 技能库去重

    例如:检测多个技能之间的语义重叠,避免指令重复。

  • 效果量化

    例如:在真实 Agent 中对比有无技能的任务结果,判断技能是否真的有用。

它是怎么工作的

  1. 第 1 步

    静态质量检查

    扫描技能目录,输出百分制评分和具体问题。

  2. 第 2 步

    语义重叠检测

    用嵌入模型比较技能之间的语义相似度。

  3. 第 3 步

    生成评测数据

    合成评测数据集,为后续评估提供样本。

  4. 第 4 步

    真实 Agent 评估

    在支持的 Agent 中运行任务,对比有技能和无技能的结果。

快速上手

  1. 1

    安装

    在 Python 3.12–3.14 环境中安装 CLI。

    pip install skillevaluator
  2. 2

    无密钥检查

    不需要 API Key,直接得到质量评分。

    skillevaluator quality-check ./my-skill
  3. 3

    接入 CI

    在 GitHub 仓库中生成 CI 配置 PR。

    skillevaluator ci init
  4. 4

    完整评估

    配置 NVIDIA Build 密钥后运行全部三层。

    skillevaluator validate ./my-skill

适合谁

  • 维护 Agent 技能或插件的开发者
  • 需要给技能做发布前质量把关的团队
  • 想把技能检查接入 CI 的工程团队

不太适合

  • 只想写技能、不关心评估流程的个人
  • 无法使用 Docker 或外部模型服务的环境

成熟度

  • 活跃度2026 年 6 月创建,11 月仍有更新,star 约 3000。
  • 文档有独立文档站、论文和博客,README 覆盖安装与三层流程。
  • 社区有 432 个 fork 和 62 个开放 issue,社区规模中等。
  • 上手难度无密钥即可跑质量检查,但完整三层需要密钥和 Docker。

使用前注意

  • · 完整三层评估需要 NVIDIA Build API Key 和 Docker,部分功能不在 PyPI 0.9.0 中。
  • · quality-check 只做静态质量检查,安全与真实效果需要额外步骤。
  • · 免费额度受 NVIDIA 访问条款和速率限制约束。
  • · 项目较新,评分可能随版本变化。

主题标签

agentic-aievaluationagent-evaluationagent-securityskillsagent-skillsbenchmarkclaude-codecodexevaluatesecurity-scannerskill-evalskill-evalsskill-evaluationskill-evaluatoragent-pluginspluginplugin-evaluation