AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用声明式配置测试提示词、Agent 和 RAG,并做安全红队扫描的 CLI 工具。
promptfoo 是一个用 TypeScript 编写的命令行工具和库,用于评估 LLM 应用并做红队测试。它支持对比 GPT、Claude、Gemini、DeepSeek 等多个模型的表现,通过声明式配置定义测试用例,并集成到 CI/CD 流程中。README 提到它已被 OpenAI 和 Anthropic 使用,项目现已归属 OpenAI,但仍保持开源和 MIT 许可。
推荐指数
功能覆盖评估与安全测试,生态成熟、社区活跃,是 LLM 应用质量保障的实用选择。
近 7 天
+357
新增 Star
总 Star 排名
#261
雷达追踪的 3,931 个 AI 仓库中
创建于
2023
2023年4月28日
核心亮点
1评估与红队一体
同一工具既能跑自动化评估,也能做漏洞扫描和红队测试。
2多模型对比
支持 OpenAI、Anthropic、Azure、Bedrock、Ollama 等多家提供商并排比较。
3本地运行
评估在本地执行,提示词不会离开本机。
4CI/CD 集成
可在流水线中自动执行检查,并支持 PR 代码扫描。
5多种安装方式
支持 npm、brew、pip 安装,也可用 npx 直接运行。
适用场景
提示词迭代验证
例如:修改系统提示词后跑一遍评估,确认输出质量没有下降。
模型选型对比
例如:用同一组测试用例比较 GPT 与 Claude 的回答质量和成本。
上线前安全测试
例如:对客服 Agent 做红队扫描,生成漏洞报告。
持续集成
例如:在 CI 中运行 promptfoo eval,评估不达标就阻断合并。
它是怎么工作的
第 1 步
编写配置
用声明式配置文件定义提示词、模型提供商和测试用例。
第 2 步
执行评估
运行 promptfoo eval,按配置调用各模型并记录输出。
第 3 步
断言打分
用断言或模型评分判断输出是否满足预期。
第 4 步
查看结果
用 promptfoo view 在网页中查看对比矩阵和报告。
第 5 步
红队扫描
按红队配置生成攻击用例,输出安全漏洞报告。
快速上手
- 1
安装
全局安装命令行工具。
npm install -g promptfoo - 2
初始化示例
生成 getting-started 示例项目。
promptfoo init --example getting-started - 3
设置密钥
多数模型提供商需要 API Key 环境变量。
export OPENAI_API_KEY=sk-abc123 - 4
运行并查看
执行评估后打开网页查看结果。
promptfoo eval && promptfoo view
适合谁
- 需要系统评估提示词质量的开发者
- 做多模型选型和对比的团队
- 关注 LLM 应用安全的工程师
- 想把 LLM 检查接入 CI/CD 的团队
不太适合
- 只想做简单对话调试的个人用户
- 不涉及 LLM 应用的传统项目
成熟度
- 活跃度最近更新在 2026 年 11 月,star 超 2.7 万,持续活跃。
- 文档有独立文档站、入门和红队指南,README 链接完整。
- 社区star 和 fork 数高,有 Discord 社区,但开放 issue 近千条。
- 上手难度几条命令即可跑通示例,但完整配置需要一定学习成本。
同类项目怎么选
- LangSmith偏重追踪和可观测性平台,promptfoo 更偏本地 CLI 评估与红队。
- DeepEvalPython 测试框架风格,promptfoo 以声明式配置和 CLI 为中心。
- Ragas专注 RAG 检索质量指标,promptfoo 覆盖评估与安全测试更广。
使用前注意
- · MIT 许可,可商用,但项目已归属 OpenAI,需关注后续治理变化。
- · 多数模型提供商需要自备 API Key,评估会产生调用费用。
- · 红队扫描结果需人工复核,不能替代完整安全审计。
- · 开放 issue 较多,遇到问题可能需要自行排查或等社区响应。
