Monitor LLM Apps with Langfuse

技能简介

Langfuse 是一款开源的 LLM 应用可观测性平台，帮助开发团队追踪大模型调用链路、成本、延迟、质量和 Prompt 变更。该 Skill 为 Claude、Codex 和 Claude Code 提供完整的 Langfuse 接入指引，覆盖从初始化到生产监控的完整工作流，适合希望对 AI 应用实现端到端可观测性的团队。

核心能力

• 支持 Cloud 和自托管两种部署模式下的 Langfuse 客户端初始化配置
• 支持创建 Trace、Generation、Score、Metadata、Tag、User 和 Session，完整覆盖 LLM 调用全链路
• 支持 OpenAI SDK 自动追踪，包含流式输出和异步调用场景
• 支持 LangChain Callback 集成，覆盖 Chains、Agents 和 Retrievers 的端到端追踪
• 内置反模式检查，识别缺少 flush 调用和噪声 Trace 等常见可观测性陷阱
• 提供自托管限制、高并发场景、仪表盘延迟和评估局限等边界条件说明

安装配置

• 方式一（Skillstore 安装）：运行 npx skillstore add sickn33/langfuse，Skillstore 自动拉取并注册
• 方式二（手动安装）：克隆仓库后放置到 ~/.claude/skills/ 目录
• 前提条件：需拥有 Langfuse Cloud 账号或已部署自托管实例，并准备好 SDK 环境变量（如 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY）

使用步骤

1. 规划追踪架构：根据应用类型决定追踪粒度（Trace vs Span），选择需要埋点的调用节点
2. 初始化客户端：在代码中创建 Langfuse 客户端，设置 Cloud 或自托管端点
3. 埋点 LLM 调用：在 OpenAI 调用处或 LangChain 链中加入 Langfuse Callback
4. 添加上下文信息：补充 User ID、Session ID、Token 用量和自定义 Metadata
5. 执行并查看：运行应用后登录 Langfuse Dashboard 查看链路、成本和质量数据
6. 配置告警与评估：设置质量评分阈值、回归测试和 Prompt 版本管理

适用场景

• 聊天机器人应用的链路追踪与 Token 成本分析
• 生产环境 LLM 应用的质量监控与延迟根因分析
• LangChain Agent 框架的端到端可观测性建设
• Prompt 版本管理与回归测试
• 客户支持场景的质量评分与反馈分析

适用人群

LLM 应用开发工程师、DevOps / MLOps 工程师、AI 产品经理和数据科学家。

工作原理

Langfuse 通过在 LLM 调用链路中植入埋点（Callback），自动采集每次调用的输入、输出、Token 用量、延迟和自定义指标。这些数据以 Trace 为单位上报至 Langfuse 服务器，生成可搜索的调用链路视图、质量评分和成本报表。开发者通过 Dashboard 或 API 查询这些数据，实现对 LLM 应用的可观测性监控。

官方链接

• Skill 详情页：https://skillstore.io/skills/sickn33-langfuse
• GitHub 仓库：https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/langfuse