benchflow-ai GitHub avatar

skillsbench

1.9K Stars4 Skills378 ForksApache-2.011月17日更新Skill 仓库

AI 概览 · 由大模型根据 SKILL.md 与仓库数据生成 · 2026年11月3日

面向 SkillsBench 基准任务创建与评审的工作流集合

仓库简介说明其用于评估 skills 的效果以及 agent 使用 skills 的能力。采集到的具体 Skill 资料则集中于 SkillsBench 贡献流程:包含任务创建、任务评审,以及 Skill Creator;其中任务创建资料描述了提案、脚手架、任务说明、运行环境和测试等环节,评审资料描述了静态检查、基准配置、轨迹审阅与报告整理。资料未提供 Skill Creator 的具体步骤,因此不能据此确认其实际能力范围。

包含 Skill

4

可以单独安装

GitHub Star

1,923

仓库累计 Star

近 7 天

+9

新增 Star

代码更新

2026年11月17日

最近一次推送

核心亮点

  • 1流程覆盖

    任务创建资料列出从提案到测试设计的多个环节。

  • 2评审有序

    任务评审资料包含分类、静态检查、基准评测和轨迹审阅。

  • 3面向贡献

    Skillsbench Skill 资料指出可用于理解仓库结构及准备任务提交。

能做什么

  • 辅助提出基准任务方案并对照提案规范检查。
  • 通过 bench tasks init 搭建任务脚手架。
  • 整理 task.md、Dockerfile 和随任务提供的输入资料。
  • 规划测试函数,并检查公式和值。
  • 按任务类别选择评审规范,进行静态检查。
  • 审阅评测轨迹并整理评审报告。

适用场景

  • 为 SkillsBench 基准创建新任务并准备任务说明。

  • 为批量任务设计参数化测试,并核对计算公式和值。

  • 检查任务提交是否符合对应评审规范。

  • 审阅评测轨迹并归纳失败原因,整理评审报告。

用之前和用之后

  • 任务提案、环境配置和测试要求需要自行逐项整理可按采集资料列出的阶段推进创建工作。
  • 评审资料与评测轨迹可能分散可依照分类、静态检查、轨迹审阅和报告整理的流程处理。

它是怎么工作的

  1. 第 1 步

    提出任务方案

  2. 第 2 步

    搭建任务与测试

  3. 第 3 步

    评审并整理报告

快速上手

安装与复制命令见“安装方式”。

  1. 1

    查看仓库中的 Skill 文件,确认所需工作流及适用范围。

  2. 2

    按任务创建流程准备提案、任务说明和运行环境。

  3. 3

    依据任务资料编写测试,并检查公式和值。

  4. 4

    评审时按任务类别选择对应规范,审阅资料与评测轨迹。

  5. 5

    参考评审流程整理报告及提交文件。

适合谁

  • 创建 SkillsBench 基准任务的贡献者
  • 准备任务提交的维护者
  • 需要检查任务规范或评测轨迹的评审者

局限

  • 采集资料没有提供 Skill Creator 的具体步骤、输入或输出定义。
  • 部分 Skill 的步骤仅覆盖工作流片段,不能据此确认完整操作细节。
  • 评审资料提到多种基准配置,但没有说明各配置的执行环境和完整操作命令。

使用前注意

  • · 采集资料将这些 Skill 标记为高风险;使用前应核对源文件中的完整指令及其适用范围。
  • · 任务评审资料提到静态检查、基准运行和轨迹审阅,但采集内容未提供完整操作细节,执行前需确认具体步骤。
  • · 不要仅依据仓库简介推断 Skill Creator 的能力;其具体内容需要检查对应源文件。

包含的 Skills · 4

公开来源

相关 Skills

查看更多