claude-prompt-tuner —— 帮你自动调优 Claude prompt 的神器

写 prompt 是门玄学。同样一个问题，改一两个字效果天差地别。claude-prompt-tuner 把这件玄事变成可量化、可 A/B 测试的科学。

核心思路

把你现在用的 prompt 喂进去，工具会：

1. 自动分析 prompt 结构（角色设定、约束、示例）
2. 基于 Claude API 给出多个优化变体
3. 用同一组测试用例跑评分对比
4. 输出哪个变体在哪个维度更好

实测效果

用我们日常用的客服 prompt 跑了下，从原始版本（人工调了 3 周）的 78 分提到了 tuner 推荐的变体的 91 分。差异主要在：

• 更明确的”不知道就说不知道”指令
• 示例从 3 个增加到 5 个
• 把”请用友好的语气”改成具体的语气特征描述

使用方法

pip install prompt-tuner

tuner init  # 创建 config.yaml
tuner run --prompt my_prompt.txt --test test_set.jsonl
tuner compare  # 对比多个变体

亮点

• 可视化报告：HTML 输出，每个维度的得分变化
• 回归保护：不会让分数变低，建议一定比基线好才采纳
• 可解释：每个修改都有理由说明

适合谁

• 在生产环境用 Claude API 的工程师
• 想做 prompt 标准化但又没时间的团队
• 学习 prompt engineering，想看高手改 prompt 的思路

GitHub

github.com/microsoft/prompt-tuner