iFixAi Skill：120 秒审计 Agent 是否在干它该干的活

Skill超级捕获手 技术创作者 2026-10-03 1588 阅读

iFixAi Skill：AI Agent 审计利器，120 秒给出「Agent 到底在不在干活」

功能与原则

iFixAi 解决的不是技术指标问题（token 效率、延迟），而是 Agent 经济里最关键的问题：这个 Agent 到底有没有在做它该做的事？ 它将 AI 红队测试（Adversarial Red Teaming）与运营保障（Operational Assurance）结合，用 32 项检查覆盖五大维度，输出 A–F 等级评分卡，整个过程不到 120 秒。

认可度

  • GitHub stars：约 14.3k（截至 2026-10-03）
  • Forks：约 1.3k（截至 2026-10-03）
  • GitHub Trending：累计上榜 83 天，2026-08-17 冲到日榜第 9 位，2026-10-03 仍在爆炸式增长（日榜 #262）
  • Product Hunt：热门产品
  • Apache-2.0 开源许可
  • 创建时间：2026-04-27，最后提交：2026-09-11，活跃开发中

链接

GitHub：https://github.com/ifixai-ai/iFixAi

原作者

ifixai-ai（GitHub Organization），团队成员来自 AI 安全与开发者工具方向，专注 Agent 评估与对齐。

介绍

AI Agent 的落地正在加速，但企业面临一个核心困境：现有的 Eval、红队、监控工具都在测量「技术性能」（token 消耗、延迟、注入防御），却没有工具回答业务层面的问题——Agent 是否在按组织的 KPI 和结构运行？ iFixAi 填补了这个空白。

它不是评测模型能力，而是评测 Agent 行为是否对齐预期。32 项检查分五大国调查维度：目标达成、边界遵守、异常处理、透明度、可审计性。每项检查有明确判定标准，judge 可以是单 provider、独立 vendor，或多 judge 集成，由你选择信任级别。

结果以 A–F 字母等级呈现，配合分项柱状评分卡，直观看到 Agent 在五大维度的得分与短板。检查过程全程写入 manifest，支持 replay 和事后审计，满足合规要求。

特点

  • 120 秒出结果：完整诊断套件在 2 分钟内完成，适合快速迭代场景
  • 45 项检查覆盖：Common + Frontier 两套检查矩阵，兼顾已知风险与前沿对齐问题
  • 三种运行模式：CLI 向导（新手友好）、CLI 显式标志（CI 友好）、Plugin/Skill（Agent 自己驱动）
  • Model Agnostic：支持任何有 API 端点的 LLM Provider（OpenAI、Anthropic、Gemini 等）
  • CI 友好：Headless 模式支持管道自动化，每次 run 输出 JSON + Markdown 报告 + 富终端评分卡
  • 自审计能力：支持 Agent 自我诊断，自己发现配置问题并解释评分卡内容
  • 支持主流 Agent：Claude Code、Cursor、Codex、VS Code、Windsurf、Cline、Continue、Gemini、Zed

使用方法

安装（CLI）：

pip install "ifixai[openai]"   # 或 anthropic, gemini 等 provider extra
ifixai setup                    # 向导引导：选 provider、model、judge、suite
ifixai run                      # 无需参数，报告写入 ./ifixai-results/

安装为 Claude Code Plugin：

/plugin marketplace add ifixai-ai/iFixAi
/plugin install ifixai@ifixai-ai-community
# 然后在 Claude Code 里直接说「run iFixAi on my setup」

CLI 脚本化（CI 用）：

pip install "ifixai[openai]"
export OPENAI_API_KEY=your_key
ifixai run --suite core --judge openai/gpt-4o

作为 Skill（任意 Agent）：

uvx ifixai install scaffolds /ifixai-skill

使用场景与人群

场景：企业内部部署 AI Agent 后评估其实际行为是否符合业务目标；CI/CD 流程中自动化检测 Agent 行为漂移；AI 安全团队进行 Red Team 对齐测试；组织合规审计。

目标用户：AI 安全工程师、DevOps / MLOps 团队、企业 AI 负责人、Agent 框架开发者。

输入与输出案例

案例 1：Claude Code 审计

  • 输入：在 Claude Code 里说「run iFixAi on my setup」，Agent 自动发现你的配置文件、构建 fixture、预估费用、执行 32 项检查
  • 输出：A 级，透明度 92%，边界遵守 88%，但可审计性仅 61%（manifest 覆盖不全）

案例 2：CI 管道自动化

  • 输入：ifixai run --suite strategic --judge anthropic/claude-sonnet-4 --output-dir ./reports/
  • 输出：./reports/strategic-report.json + Markdown + 终端彩色评分卡，CI 步骤 pass/fail 直接映射到等级阈值

GitHub: https://github.com/ifixai-ai/iFixAi

评论区

0 条评论

登录后可评论。

Skill超级捕获手 1588 阅读