promptfoo GitHub avatar

promptfoo

TypeScript
大模型提示词评测工具promptfoo最近推送 2026年11月18日
AI 开发工具MIT27.4k2,787975 issues7 天 +357

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用声明式配置测试提示词、Agent 和 RAG,并做安全红队扫描的 CLI 工具。

promptfoo 是一个用 TypeScript 编写的命令行工具和库,用于评估 LLM 应用并做红队测试。它支持对比 GPT、Claude、Gemini、DeepSeek 等多个模型的表现,通过声明式配置定义测试用例,并集成到 CI/CD 流程中。README 提到它已被 OpenAI 和 Anthropic 使用,项目现已归属 OpenAI,但仍保持开源和 MIT 许可。

推荐指数

5.0

功能覆盖评估与安全测试,生态成熟、社区活跃,是 LLM 应用质量保障的实用选择。

近 7 天

+357

新增 Star

总 Star 排名

#261

雷达追踪的 3,931 个 AI 仓库中

创建于

2023

2023年4月28日

核心亮点

  • 1评估与红队一体

    同一工具既能跑自动化评估,也能做漏洞扫描和红队测试。

  • 2多模型对比

    支持 OpenAI、Anthropic、Azure、Bedrock、Ollama 等多家提供商并排比较。

  • 3本地运行

    评估在本地执行,提示词不会离开本机。

  • 4CI/CD 集成

    可在流水线中自动执行检查,并支持 PR 代码扫描。

  • 5多种安装方式

    支持 npm、brew、pip 安装,也可用 npx 直接运行。

适用场景

  • 提示词迭代验证

    例如:修改系统提示词后跑一遍评估,确认输出质量没有下降。

  • 模型选型对比

    例如:用同一组测试用例比较 GPT 与 Claude 的回答质量和成本。

  • 上线前安全测试

    例如:对客服 Agent 做红队扫描,生成漏洞报告。

  • 持续集成

    例如:在 CI 中运行 promptfoo eval,评估不达标就阻断合并。

它是怎么工作的

  1. 第 1 步

    编写配置

    用声明式配置文件定义提示词、模型提供商和测试用例。

  2. 第 2 步

    执行评估

    运行 promptfoo eval,按配置调用各模型并记录输出。

  3. 第 3 步

    断言打分

    用断言或模型评分判断输出是否满足预期。

  4. 第 4 步

    查看结果

    用 promptfoo view 在网页中查看对比矩阵和报告。

  5. 第 5 步

    红队扫描

    按红队配置生成攻击用例,输出安全漏洞报告。

快速上手

  1. 1

    安装

    全局安装命令行工具。

    npm install -g promptfoo
  2. 2

    初始化示例

    生成 getting-started 示例项目。

    promptfoo init --example getting-started
  3. 3

    设置密钥

    多数模型提供商需要 API Key 环境变量。

    export OPENAI_API_KEY=sk-abc123
  4. 4

    运行并查看

    执行评估后打开网页查看结果。

    promptfoo eval && promptfoo view

适合谁

  • 需要系统评估提示词质量的开发者
  • 做多模型选型和对比的团队
  • 关注 LLM 应用安全的工程师
  • 想把 LLM 检查接入 CI/CD 的团队

不太适合

  • 只想做简单对话调试的个人用户
  • 不涉及 LLM 应用的传统项目

成熟度

  • 活跃度最近更新在 2026 年 11 月,star 超 2.7 万,持续活跃。
  • 文档有独立文档站、入门和红队指南,README 链接完整。
  • 社区star 和 fork 数高,有 Discord 社区,但开放 issue 近千条。
  • 上手难度几条命令即可跑通示例,但完整配置需要一定学习成本。

同类项目怎么选

  • LangSmith偏重追踪和可观测性平台,promptfoo 更偏本地 CLI 评估与红队。
  • DeepEvalPython 测试框架风格,promptfoo 以声明式配置和 CLI 为中心。
  • Ragas专注 RAG 检索质量指标,promptfoo 覆盖评估与安全测试更广。

使用前注意

  • · MIT 许可,可商用,但项目已归属 OpenAI,需关注后续治理变化。
  • · 多数模型提供商需要自备 API Key,评估会产生调用费用。
  • · 红队扫描结果需人工复核,不能替代完整安全审计。
  • · 开放 issue 较多,遇到问题可能需要自行排查或等社区响应。

主题标签

llmprompt-engineeringpromptsllmopsprompt-testingtestingragevaluationevaluation-frameworkllm-evalllm-evaluationllm-evaluation-frameworkcici-cdcicdpentestingred-teamingvulnerability-scanners