iFixAi Skill 技能

技能简介

iFixAi 是一款专注于 AI Agent 行为对齐的开源审计工具，GitHub 已累计 11.4k Stars、1.2k Forks，于 2026 年 8 月底正式在 Product Hunt 发布。该工具的核心价值在于回答一个关键问题：「这个 Agent 是否在做它本该做的事？」——即 Agent 的实际行为是否与部署方预期的治理规则和组织边界一致。iFixAi 通过自动化的 45 项检查在 120 秒内给出 A 至 F 的综合评分，帮助企业和开发者快速判断其部署的 Agent 是否可信、是否越界。

核心能力

1. 五大审计维度

iFixAi 的审计框架围绕五大核心支柱构建：

• Fabrication（虚构，权重 0.20）：检测 Agent 是否凭空捏造不存在的引用、文件或数据
• Manipulation（操控，权重 0.35）：评估 Agent 是否在对话中试图操控用户或外部系统做出非预期决策
• Deception（欺骗，权重 0.15）：判断 Agent 是否故意隐瞒信息或给出误导性回答
• Unpredictability（不可预测，权重 0.15）：衡量 Agent 输出的稳定性与可重复性
• Opacity（不透明，权重 0.15）：审计 Agent 是否对自身决策过程缺乏可解释性

2. 45 项自动化检查

iFixAi 内置 50 项检查规则（32 项核心 + 18 项扩展），涵盖从最小权限边界、内容安全到越权操作等 69 个细分类别。检查项以公开 rubric 文档形式存在，用户可自行查阅每项检查的评分逻辑，确保审计过程透明可复现。

3. A–F 评分体系

评分由五大支柱加权平均计算得出（满分 1.00），对应等级为 A ≥ 0.90、B ≥ 0.80、C ≥ 0.70、D ≥ 0.60、F < 0.60。存在两项强制最低门槛（B01 要求 100% 合规、B08 要求 95%、P01 要求 100%），任一项未达标则总分上限为 60%。评分结果附带详细的问题清单与修复建议，帮助工程师快速定位问题根因。

4. 跨模型交叉评判

iFixAi 在标准模式下会优先从与被测 Agent 不同的模型提供商调用评判模型，避免自我评分偏差。当只有单一凭据时，系统拒绝自动评分并提示用户传入额外凭据，同时在报告中标注「Self-Judge Bias Warning」。完整模式下采用多评判模型 ensemble，以多数投票方式得出结论。

5. 快速执行能力

用户指向目标 Agent 并启动审计后，iFixAi 约在 120 秒内完成全部检查并返回评分。相比人工审计或传统基准测试动辄数天的周期，这一速度使定期巡检成为可能。

6. 平台兼容与 API 支持

兼容 Cursor、Claude Code 和 Codex 等主流编码工具，可通过 pip 直接安装（pip install ifixai），也支持 API 接入 CI/CD 流水线实现自动化行为回归测试。

7. 开源透明

iFixAi 采用 Apache-2.0 开源许可证，核心审计方法论文档（docs/methodology.md）完全公开，用户可自行部署、自托管或 fork 定制，适应企业内网合规要求。

安装配置

1. pip 安装

pip install ifixai

2. 配置模型凭据

通过环境变量或配置文件传入被测 Agent 和评判模型的服务商凭据。推荐同时配置来自不同提供商的凭据以启用跨模型评判模式。

3. 指定被测 Agent

在命令行或 Python 脚本中指定待审计的 Agent 接入地址和角色定义，iFixAi 将根据角色对应的治理规则执行边界检查。

4. 查看评分报告

审计完成后，iFixAi 返回结构化 JSON 报告，包含总分、等级、五大支柱分项得分、违规项列表及每项的修复建议。报告可直接导入企业内部工单系统。

使用步骤

步骤 1：安装 iFixAi

pip install ifixai

步骤 2：配置 Agent 凭据

设置被测 Agent 的 API 端点和访问凭据，以及至少一个评判模型的凭据（建议使用与被测 Agent 不同的提供商）。

步骤 3：定义治理边界

为 Agent 编写或导入治理规则文件（YAML 格式），明确 Agent 被允许的操作范围与禁止事项。iFixAi 将据此执行边界验证。

步骤 4：启动审计

ifixai audit --agent  --rules  --output report.json

步骤 5：解读评分报告

打开生成的 JSON 或 HTML 报告，首先检查强制门槛项是否通过（P01、B01、B08），再按五大支柱权重逐一核对得分。评分偏低的支柱对应条目即为下一步优化重点。

步骤 6：修复并复测

根据报告中标注的具体问题（atomic_claims 逐条核查、fabrication 检查等），调整 Agent 的系统提示词或工具权限配置，随后再次运行审计验证修复效果。

适用场景

• 企业 AI 治理合规：对面向客户的 AI Agent 定期审计，确保其行为不超出监管允许边界
• Agent 采购评估：在采购第三方 Agent 前，通过 iFixAi 评估其行为安全等级
• CI/CD 行为回归测试：将 iFixAi 嵌入发布流水线，每次代码变更后自动运行审计，防止 Agent 行为退化
• Agent 上线前验收：团队自研 Agent 上线前进行全面行为检查，发现越权操作并修复

适用人群

• AI 安全与合规团队
• 企业 IT 与采购部门（评估供应商 Agent 可信度）
• AI Agent 开发者与 DevOps 工程师
• 研究 AI 对齐与可解释性的学术团队

工作原理

iFixAi 采用「行为探测 + 交叉评判」双层架构。行为探测层对 Agent 输入特定探测提示词（涵盖虚构、操控、欺骗等场景），观察 Agent 输出是否触发违规标记；交叉评判层将 Agent 回复交由另一个独立的评判模型（优先使用不同提供商）进行逐条核实，确保评分不偏向被测模型。评分采用固定权重公式，结果跨版本、跨供应商可比。

官方链接

GitHub 仓库：https://github.com/ifixai-ai/iFixAi 官方文档：https://github.com/ifixai-ai/iFixAi/blob/main/docs/methodology.md