Promptfoo Skill 技能

Promptfoo 是一个用于评估和红队测试 LLM 应用的 CLI 和库，支持自动化评估 prompt 质量、模型对比、安全漏洞扫描和 CI/CD 集成。已加入 OpenAI 旗下，保持 MIT 开源协议。

核心解决问题：prompt 调优靠「感觉」——没有量化数据，不知道哪个 prompt 变体更好；上线前不知道模型有没有安全漏洞。Promptfoo 把 LLM 评估变成可量化的自动化流程。

主要功能： • 自动化评估：用真实测试用例批量评估 prompt 和模型，输出分数报告 • 红队测试（Red Teaming）：内置 100+ 种攻击向量，自动扫描 LLM 应用的越狱、数据泄露、提示词注入等漏洞 • 模型对比：一次评估多个模型（OpenAI、Anthropic、Azure、Ollama 等），横向比较质量、成本和延迟 • CI/CD 集成：GitHub Actions 集成，PR 自动跑评估，不达标不能合并 • 代码扫描（Code Scanning）：GitHub Advanced Security 集成，对 LLM 相关代码做安全和合规审查 • Web UI：可视化界面，支持团队分享结果

安装：npm install -g promptfoo 或 pip install promptfoo