Session Intelligence - 自带 LLM 分析 AI 编程 agent 会话的开源 Go 引擎

技能简介

Session Intelligence 是 Workloom Solutions Private Limited 开源（MIT）的 Go 引擎与 SDK，针对 Coding Agent 的 transcript 提供结构化分析：判定 session 是否完成目标、识别 prompt 缺上下文与反复返工的回合、度量 token 与工时浪费、检测泄露的 API Key 与个人数据。结果以标准 JSON 输出，可接入自家数据后台或 e2e 报告。用户自带 LLM（参考实现为 Gemini，可换 OpenAI 兼容或 Anthropic API），不提供 SaaS、无需账号。

核心能力

• 判别会话语义：每个 session 输出 verdict（goal_achieved / smoothness / score_overall / score_clarity 等）+ phases 多阶段判定（went_well / went_wrong / friction_cause）
• 回合级 insights：turns[] 含 prompt_objective_met / failure_class / waste_cause，定位反复返工的 prompt
• 安全审计：security_flags 检测 api-key-leak、database 凭证、个人数据等暴露，按 severity 标注
• 多工具支持：通过配套 Agent Desk 的 local-session-extractor v0.1.0 读取 Codex / Claude Code / Cursor / GitHub Copilot / Kiro / Antigravity 六种会话
• 批处理：自带 Postgres 后端，可对整批 transcript 跑分析输出
• 离线 demo：内置 sample session 与 fake model，无 key、无 Docker 即可跑通

安装配置

• 必备环境：Go 1.25+、Docker
• LLM 接入：默认 Gemini，准备 GEMINI_API_KEY 后 docker compose up -d --build --wait
• 可选：Postgres 跑批量
• 可选：Agent Desk 的 local-session-extractor-v0.1.0.tgz release 包用于扫描本地会话
• 鉴权：使用自己的模型 key，CLI 不会替您持久化

使用步骤

1. git clone https://github.com/tetriz-ai/session-intelligence.git
2. docker compose up -d --build --wait 启动 reference-llm 与 Postgres
3. 用 local-session-extractor 扫描本地会话并 show -- > extracted-session.json
4. go run ./cmd/analyze-real --url http://localhost:8000 extracted-session.json > analysis.json
5. 阅读 analysis.json 中的 verdict / phases / turns / security_flags
6. 用 docker compose down 关闭；离线示例可用 go run ./examples/analyze-raw-session

适用场景

• 个人 / 团队复盘 AI 编程 prompt 习惯，找出反复返工的回合
• 把分析结果接入 e2e / 报表仪表盘，作为团队 OKR 与代码评审的依据
• 自建团队 AI agent audit（合规与凭据外泄检测）
• Code Review 平台用结构化 JSON 校验 agent 提交质量

适用人群

AI 编程 agent 重度个人用户、Tech Lead、平台 / DevEx 团队、Code Review / 审计工程师

工作原理

引擎读取标准化的 Conversation proto（含 user / assistant 消息、会话元数据与覆盖率），把 transcript 路由到本地 reference-llm 服务（默认调用 Gemini，可换 OpenAI / Anthropic / 自家模型）进行判别。LLM 输出对齐到 analyze.Analysis schema（含 verdict、phases、turns、security_flags、measured 等）。CLI 单 session 跑，批处理走 Postgres。安全审计是"规则 + LLM"联合判定，把可疑项标准化输出，避免不同模型风格漂移。

评分维度（示例）

• verdict.score_overall / score_clarity / score_specificity / score_context_provision / score_completeness：评估 prompt 是否有清晰目标、约束与上下文
• phases[].went_well / went_wrong / friction_cause：把会话拆阶段给出"为什么这个阶段卡壳"
• turns[].prompt_objective_met / failure_class / waste_cause：回合级定位
• verdict.goal_achieved / smoothness / token_efficiency + measured：是否达成目标、过程顺滑度与 token 耗时
• security_flags / turns[].security_issues：检测 api-key-leak、数据库凭证、邮箱、PII 等暴露，按 critical / high / medium 分级

官方链接

• 仓库：https://github.com/tetriz-ai/session-intelligence
• 配套 Agent Desk：https://github.com/tetriz-ai/agent-desk
• Go API 参考：https://pkg.go.dev/github.com/tetriz-ai/session-intelligence
• License：MIT