sickn33 数据管道设计（data-engineering-data-pipeline） Skill 技能

技能简介

sickn33-data-engineering-data-pipeline（Design Reliable Data Pipelines）是 Skillstore 上面向 Claude / Codex / Claude Code 的数据管道架构设计技能，针对"业务需求到生产管线之间缺一套系统化设计方法"的痛点。它整合了 ETL / ELT / Lambda / Kappa / Lakehouse 五种主流架构范式的选型逻辑，覆盖批处理与流式接入、Airflow / Prefect / dbt / Spark / Delta Lake / Iceberg 等关键工具的设计要点，并提供 Great Expectations 与 dbt test 的数据质量检查落地方法。

技能源自 sickn33 维护的 antigravity-awesome-skills 仓库，质量分 78（bronze 等级），已通过 Skillstore 完整审计（riskLevel=safe），支持 Claude、Codex、Claude Code 自动安装。

核心能力

• 架构选型对比：系统化对比 ETL、ELT、Lambda、Kappa、Lakehouse 五种架构的适用场景、复杂度、容错特性。
• 接入层设计：批处理与流式接入的断点续传、重试机制、数据校验、回放（replay）策略。
• 编排与存储选型：Airflow / Prefect / dbt / Spark / Delta Lake / Iceberg 的能力边界、组合方式与迁移路径。
• 数据质量保障：基于 Great Expectations 与 dbt test 定义 schema 校验、唯一性、外键、跨表一致性检查。
• 可观测性设计：监控指标（新鲜度、容量、Schema 变更、延迟）、告警阈值、恢复预案与值班机制。
• 交付物模板：输出架构图、实施步骤、配置样例、可观测性看板、运维 Runbook 等可直接落地的工件。

安装配置

• 通过 Skillstore 安装：执行 npx skillstore add sickn33/data-engineering-data-pipeline，自动下载技能包并放置到 Agent skills 目录。
• 手动安装：克隆 https://github.com/sickn33/antigravity-awesome-skills，把 skills/data-engineering-data-pipeline 软链或拷贝到 Claude Code 的 ~/.claude/skills/ 下。
• 依赖要求：使用 dbt 示例需要 Python 3.10+ 与 dbt-core；使用 Spark 示例需要 Java 11+ 与 PySpark；Great Expectations 需要本地或远程 expectation suite。
• 工具适配：Claude Code 原生支持；Codex 需在 plugins 目录启用；Claude.ai 通过 Skill 工具加载。

使用步骤

1. 明确业务需求：向 Agent 描述数据来源（业务库、埋点、日志、第三方 API）、目标消费场景（报表、机器学习、实时大屏）、吞吐量与延迟要求。
2. 选择架构模式：Agent 根据需求对比 ETL/ELT/Lambda/Kappa/Lakehouse，推荐匹配的架构并说明理由。
3. 设计编排与存储：Agent 给出 Airflow / Prefect 任务编排、Spark / dbt 转换、Delta Lake / Iceberg 存储的具体选型与组合方案。
4. 加入质量检查：Agent 把 Great Expectations / dbt test 嵌入到接入、转换、服务三个关键节点，定义校验规则与告警动作。
5. 产出可观测性方案：Agent 列出新鲜度、容量、Schema、延迟、失败率等监控指标与对应告警阈值，并生成 Runbook。

适用场景

• 新建数仓 / 数据湖：从零搭建分析平台，按业务需求匹配最合适的架构。
• 现有 ETL 改造：把传统 ETL 迁移到 ELT 或 Lakehouse，提升灵活性与可观测性。
• 流式数据接入：日志、埋点、IoT 设备等高吞吐场景的 Kafka + Flink/Spark Streaming 链路设计。
• 机器学习特征平台：为 ML 训练构建稳定、可回溯的特征管线与数据契约。
• 跨云数据同步：多云或混合云架构下的数据复制、延迟优化、成本控制。

适用人群

• 数据工程师 / 数据架构师，负责数仓、数据湖、实时计算平台建设。
• 后端工程师，需要把业务数据库接入分析系统的应用开发人员。
• 数据分析师 / 科学家，希望理解底层管道设计以提升数据消费效率。
• 用 Claude / Codex 辅助数据工程工作的 AI 协作团队。
• 企业数据中台 / DataOps 团队负责人。

工作原理

技能以 SKILL.md + 工具配置片段 + 架构示例的结构组织。Agent 加载技能后会建立架构、编排、存储、质量、可观测性五大知识索引；用户提出业务需求时，Agent 按"需求 → 架构匹配 → 工具选型 → 质量规则 → 可观测性"的链路给出结构化方案，并通过 Prompt Templates（选择管道模式、增强可靠性、平台成本评审）引导用户补充细节。所有方案在 Best Practices 中强调"先验证再投产"，Anti Patterns 则提醒不要在没有告警与回滚机制的情况下直接运行生产管道。

官方链接

• Skillstore 详情页：https://skillstore.io/skills/sickn33-data-engineering-data-pipeline
• Markdown 原文：https://skillstore.io/skills/sickn33-data-engineering-data-pipeline.md
• 仓库地址：https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline
• Manifest：https://skillstore.io/api/skills/sickn33-data-engineering-data-pipeline/manifest