Agent Reliability Skill 技能

Agent Reliability — AI Agent 可靠性工程框架

技能简介

Agent Reliability 是由开发者 kamleshd07 开源的生产级 Python 框架，专门解决 AI Agent 可靠性度量这一行业痛点：Agent 任务完成了，但它真的在做对的事吗？该项目提供了一套供应商无关（Vendor-Neutral）的可靠性工程原语，包含评估（Evaluator）、SLO（服务等级目标）、错误预算（Error Budget）、燃烧率（Burn Rate）和测量溯源（Provenance）机制。与传统只告诉你 Agent 做了什么 的追踪工具不同，Agent Reliability 回答的是 Agent 达成目标了吗？达成频率如何？该框架纯离线运行，无需网络请求，无任何第三方依赖，是企业 AI 运维团队必备的监控工具，已进入 GA（正式可用）阶段，API 稳定性有保障。

核心能力

1. 供应商无关（Vendor-Neutral）：不绑定任何特定 Agent 框架，任何 Python Agent 均可接入。
2. 明确的可靠性量化：将 Agent 表现转化为具体数字（SLO 达成率），而非模糊的日志描述。
3. SLO + 错误预算机制：内置标准的互联网服务可靠性工程方法论，适合 AI 运维团队直接复用。
4. 燃烧率监控：实时比较当前不良事件率与错误预算消耗速度，提前预警可靠性退化。
5. 评估溯源（Evaluator Provenance）：每次评估记录 evaluator 名称、版本、配置和确定性，保证测量可审计。
6. UNKNOWN 语义清晰：UNKNOWN 代表评估无法得出结论（不等于失败），不会误导系统决策。
7. 本地计算不过网：基础安装零运行时依赖，不自动上报任何数据到云端，适合私有化部署。
8. 测量健康状态：独立于可靠性指标的证据质量评估，避免在低质量数据上做高置信度判断。
9. OpenTelemetry 集成：可选 OTel 桥接，将 Agent 可靠性数据接入现有可观测性基础设施。
10. 内置 Evaluator 库（v1.2.0）：EqualityEvaluator、RegexEvaluator、LLM-as-Judge 等开箱即用。

安装配置

基础安装

pip install agent-reliability
import agent_reliability

可选 OpenTelemetry 集成

pip install "agent-reliability[otel]"

环境要求

• Python 3.11–3.13
• 无强制运行时依赖
• 无网络要求（纯本地计算）

使用步骤

第一步：定义评估器和目标

from agent_reliability.sdk import AgentReliability, EvaluatorRunner
from agent_reliability.evaluation import EqualityEvaluator, EvaluatorIdentity

sdk = AgentReliability()
runner = EvaluatorRunner()
evaluator = EqualityEvaluator(
    EvaluatorIdentity("expected-answer", "1"),
    "approved"
)

第二步：对每次 Agent 执行进行评估

from agent_reliability.reliability import ReliabilityObservation

observations = []
for actual_result in ("approved", "approved", "needs-review", "approved"):
    with sdk.run(agent_id="approval-agent", name="审批 Agent", version="1") as run:
        result = runner.evaluate(evaluator, actual_result)
        if not isinstance(result, EvaluationResult):
            continue
        run.record_evaluation(indicator="task_success", result=result)
        observations.append(
            ReliabilityObservation.from_evaluation(indicator="task_success", result=result)
        )

第三步：计算 SLO 达成率

from agent_reliability.domain import ObjectiveDirection, Slo, UnknownPolicy
from agent_reliability.reliability import evaluate_reliability

report = evaluate_reliability(
    indicator="task_success",
    observations=observations,
    slo=Slo("task-success", Fraction(3, 4), ObjectiveDirection.AT_LEAST),
    unknown_policy=UnknownPolicy.EXCLUDE,
)
print(f"Reliability: {float(report.ratio.pass_ratio):.2%}")
print(f"SLO status: {report.slo_evaluation.status.value.upper()}")

第四步（可选）：接入 OpenTelemetry

from agent_reliability.otel import OpenTelemetryRunContextBridge

bridge = OpenTelemetryRunContextBridge()

适用场景

1. AI Agent 生产监控：为 Claude Code、LangChain Agent 或自研 Agent 添加可靠性 SLO 仪表盘。
2. CI/CD 可靠性回归测试：在每次代码变更后运行评估套件，确保 Agent 质量不下降。
3. 多版本 Evaluator 对比：对比同一指标在不同 evaluator 版本下的结果差异，防止评估方法变更引入的隐藏偏差。
4. 错误预算告警：当 Agent 错误预算消耗过快时触发告警，提前介入而非等故障发生。
5. 测量健康风控：在低质量证据下不做高置信度决策，避免误导性的 99% 可靠性数字。
6. 企业内部 AI 治理：为 AI 应用建立 SLO 标准，是 AI 运维团队向业务方交付可量化承诺的基础。

适用人群

• AI 运维工程师（SRE）：负责监控 AI Agent 生产服务可靠性的团队。
• 平台工程师：构建企业级 AI Agent 平台的开发者，需要可靠的质量度量机制。
• AI 产品经理：需要向业务方提供量化 AI 质量指标的负责人。
• AI 研究者：需要可复现的 Agent 评估方法论的学术研究人员。

工作原理

Agent Reliability 的核心概念包括：指标（Indicator）定义要测量什么，如 task_success；评估器（Evaluator）定义如何判断，返回 PASS/FAIL/UNKNOWN；SLO 设定目标值（如 75% 成功率）；错误预算（Error Budget）是允许的不可靠配额；燃烧率（Burn Rate）比较实际不良事件率与预算消耗速度。框架通过上下文管理器（sdk.run()）包装每一次 Agent 任务执行，在执行结束后记录评估结果，累积足够数据后调用 evaluate_reliability() 计算整体可靠性指标。当两个版本的 evaluator 测量同一指标时，框架主动返回 AggregationConflict 而非合并结果，防止不可比的测量被平均。

官方链接

• PyPI：https://pypi.org/project/agent-reliability/
• GitHub：https://github.com/kamleshd07/agent-reliability
• 文档：https://github.com/kamleshd07/agent-reliability/blob/main/docs/QUICKSTART.md