wshobson 机器学习流水线设计（ml-pipeline-workflow） Skill 技能

技能简介

wshobson-ml-pipeline-workflow（Build Production ML Pipelines）是 Skillstore 上面向 Claude / Codex / Claude Code 的端到端机器学习流水线设计技能，针对"实验 Notebook 到生产流水线之间缺一套工程化路径"的痛点。它系统覆盖数据接入 → 特征工程 → 训练编排 → 模型验证 → 灰度上线 → 监控告警的完整链路，并整合 Airflow / Dagster / Kubeflow / Prefect 等主流 DAG 编排工具的选型经验，以及 Shadow / Canary / Blue-Green / Rollback 等部署策略。

技能源自 wshobson 维护的 agents 仓库（plugins/machine-learning-ops/skills 目录），质量分 79（bronze 等级），已通过 Skillstore 完整审计（riskLevel=safe），支持 Claude、Codex、Claude Code 自动安装。

核心能力

• 端到端流水线设计：覆盖数据接入 → 特征工程 → 训练 → 验证 → 部署 → 监控的全链路阶段划分与产出物定义。
• DAG 编排对比：Airflow / Dagster / Kubeflow / Prefect 的能力边界、调度模型、依赖管理、回溯能力对比。
• 数据验证与特征工程：数据 schema 校验、特征存储（Feature Store）设计、数据集版本管理（DVC / lakeFS）、数据血缘追踪。
• 训练与实验管理：训练编排、实验跟踪（MLflow / W&B）、分布式训练（PyTorch DDP / Ray / Horovod）模式。
• 模型验证与审批：回归测试、A/B 测试、Champion / Challenger 评估、上线审批工作流。
• 部署策略：Shadow（影子流量）、Canary（金丝雀）、Blue-Green（蓝绿）、Rollback（回滚）等部署模式与监控指标。

安装配置

• 通过 Skillstore 安装：执行 npx skillstore add wshobson/ml-pipeline-workflow，自动下载技能包。
• 手动安装：克隆 https://github.com/wshobson/agents，把 plugins/machine-learning-ops/skills/ml-pipeline-workflow 软链或拷贝到 Claude Code 的 ~/.claude/skills/ 下。
• 环境依赖：使用编排示例需要 Python 3.10+；使用 Airflow / Dagster 示例需要对应客户端；使用 MLflow / W&B 需要相应 API Token。
• 工具适配：在 Claude Code 中可直接加载；在 Codex 中需启用 machine-learning-ops 插件；在 Claude.ai 中通过 Skill 工具调用。

使用步骤

1. 梳理业务场景：向 Agent 描述业务目标（点击率预测、欺诈识别、推荐排序）、数据来源（用户行为、交易、文本）、上线时延（实时 / 准实时 / 离线）。
2. 选择编排工具：Agent 根据团队规模、运维能力、生态依赖推荐 Airflow / Dagster / Kubeflow / Prefect，并给出对比理由。
3. 设计数据与特征层：Agent 给出数据 schema 校验、特征存储、数据集版本、血缘追踪的落地建议。
4. 配置训练与验证：Agent 整合 MLflow / W&B 实验跟踪、分布式训练框架、A/B 测试与上线审批工作流。
5. 设计部署与监控：Agent 输出 Shadow / Canary / Blue-Green / Rollback 策略，配套模型性能漂移监控与告警阈值。

适用场景

• 从 Notebook 到生产：把数据科学家的实验代码升级为可重复、可监控的生产流水线。
• MLOps 平台搭建：构建企业级机器学习运维平台，统一编排、特征、训练、上线流程。
• 模型持续训练（CT）：基于新数据周期性重训，结合 A/B 测试自动筛选更优模型。
• 多团队协作：数据科学、ML 工程、平台 SRE 多团队协作的流水线规范定义。
• 合规与审计：金融、医疗等强监管行业的模型上线审批与回溯审计。

适用人群

• 机器学习工程师 / MLOps 工程师，负责生产模型上线与运维。
• 数据科学家，希望把实验成果工程化为稳定流水线。
• 平台 SRE / DevOps，负责 ML 平台的稳定性与可观测性。
• 用 Claude / Codex 辅助 MLOps 工作的 AI 协作团队。
• 企业 AI 中台负责人，需要建立标准化的 ML 流水线规范。

工作原理

技能以 SKILL.md + 编排工具对比表 + 部署策略模板的结构组织。Agent 加载后建立"业务需求 → 编排工具 → 数据层 → 训练层 → 部署策略 → 监控指标"的推理链；用户提交业务场景时，Agent 按 Prompt Templates 中的"基础流水线绘制""编排工具选型""生产运维规划"等模板逐步细化方案。Best Practices 强调"先小流量验证再放量、监控指标先于上线配置、每次部署都准备回滚预案"；Anti Patterns 警告"无验证直接全量上线、忽略数据漂移监控、把实验代码直接搬生产"等常见陷阱。

官方链接

• Skillstore 详情页：https://skillstore.io/skills/wshobson-ml-pipeline-workflow
• Markdown 原文：https://skillstore.io/skills/wshobson-ml-pipeline-workflow.md
• 仓库地址：https://github.com/wshobson/agents/tree/main/plugins/machine-learning-ops/skills/ml-pipeline-workflow
• Manifest：https://skillstore.io/api/skills/wshobson-ml-pipeline-workflow/manifest