PyTorch 团队偷偷给 Claude Code 塞了个 Skill,专门治 AOTI 的玄学崩溃

PyTorch 官方给 Claude Code 上传了一个专门 debug AOTInductor 崩溃的 Skill

对,就是那个折磨过无数 PyTorch 2.x 用户的 AOTI(Ahead-Of-Time Inductor)——你跑 torch._inductor.aot_compile 编译模型时一切正常,一 aot_load 立刻段错误,或者推理时突然 Illegal Memory Access,搜 Stack Overflow 半天找不到原因。

现在 PyTorch 团队把内部多年积累的 debug 套路做成了一个 Claude Skill,放在了 官方仓库的 .claude/skills/aoti-debug 目录里。这个 Skill 在 Smithery 上叫 pytorch/aoti-debug,归属 Coding 类,目前有 21 次安装。

这 Skill 到底能干嘛

它不是”一键修复”工具,更像一份结构化诊断手册。SKILL.md 里有完整的 Error Pattern Routing——你把报错粘进去,Claude 就会按 SOP 路由到对应子指南。

最经典的几个场景它都覆盖到了:

  • device mismatch 段错误:CUDA 上编译、CPU 上加载,或者反之。这是 AOTI 最常见的崩溃原因,Skill 第一步就强制要求你检查 device 和 shape 是否一致。
  • CUDA Illegal Memory Access:给了你一套三步定位法——先开 AOTI_RUNTIME_CHECK_INPUTS=1 拿到 actionable 报错,再开 CUDA_LAUNCH_BLOCKING=1 让错误确定性复现,最后用 AOT_INDUCTOR_DEBUG_INTERMEDIATE_VALUE_PRINTER=3 逐 kernel 打印,找出真正出问题的那一个。
  • Triton index out of bounds:单独有个子文件 triton-index-out-of-bounds.md 专门处理 Assertion index out of bounds 这类报错。

为啥这 Skill 值得装

AOTI 这块坑很多,光”device 编译/加载不匹配”这一条,PyTorch 官方文档分散在好几处,Stack Overflow 上的答案十有八九是错的。Skill 把 PyTorch 内部开发者的排查路径压缩成了一张可执行清单。

另外 Skill 里还专门提醒了 API 迁移:旧的 torch._export.aot_compile / aot_load 已经 deprecated,现在推荐用 torch._inductor.aoti_compile_and_package / aoti_load_package——后者会自动把 device metadata 打包进模型,不用你手动对齐。

环境变量总结表也帮你整理好了,从 AOTI_RUNTIME_CHECK_INPUTSTORCHINDUCTOR_NAN_ASSERTS,每个干啥的、什么时候编译期生效、什么时候运行期生效,都写明白了。

怎么用

直接在 Claude Code 里引用这个 Skill 就行。如果你用 Smithery CLI:

  • Smithery 安装命令 smithery install pytorch/aoti-debug
  • 或者本地项目里把它当 Claude Code Skill 装到 .claude/skills/

触发条件很简单:只要你的报错里出现 aot_compileaot_loadaoti_compile_and_packageaoti_load_package,或者 AOTInductorsegmentation faultillegal memory access 这类关键词,Skill 就会被自动激活。

适用人群

  • 正在用 PyTorch 2.x 做模型导出/部署(AOTI 是 TorchDynamo + Inductor 的 export 路径,比 eager 快但坑也多)
  • 踩过 CUDA / CPU device 不匹配的段错误,搞不清楚编译期和加载期到底哪一步出问题
  • 在生产环境跑 AOTI 模型,遇到诡异 IMA 但拿不到 kernel 级日志

说白了,PyTorch 把”内部团队怎么 debug AOTI”的 SOP 开源出来了。如果你在 PyTorch 2.x 部署链路里被 AOTI 折腾过,这个 Skill 能帮你省掉至少半天翻文档 + 复现报错的时间。

GitHub 地址:https://github.com/pytorch/pytorch/tree/main/.claude/skills/aoti-debug


GitHub: https://github.com/pytorch/pytorch/tree/main/.claude/skills/aoti-debug

评论区

0 条评论

登录后可评论。

江望 13 阅读