Montaj Skill 技能

技能简介

Montaj 是一款专为 AI Agent 设计的视频编辑 CLIP（CLI Program for agents），把视频剪辑的全流程——探针、剪辑、转写、生成、合成——封装成可被 Claude Code、OpenClaw、Cursor 等 Agent 直接调用的 CLI 工具与 Agent Skill 合约，由 Agent 决定何时调用哪个步骤、以什么参数执行。它由 theSamPadilla 开源，2026 年 10 月发布到 PyPI 5.23.0，同时配套一个免费的 macOS 视频编辑器 app（montaj.ag）作为同一引擎的可视化前端。

核心能力

• CLI-first + Agent-native：所有步骤都是独立的可执行文件 + JSON schema，Agent 可按 schema 调用、组合、回传结果，工具本身不做任何创意决策。
• 完整剪辑流水线：steps/ 目录内置 probe（探针）、trim（剪辑）、transcribe（语音转写）、generate（AI 视频生成）等可组合步骤，workflows/ 提供 overlays / ai_video / carousel / blank 等预设编排。
• AI 视频生成管线：内置 Kling、Gemini、OpenAI 三个视频生成 connector，Agent 可基于文本提示创建项目并直接生成视频，UI 中可视化跟踪进度。
• 多模态扩展：montaj[connectors] 装 Kling / Gemini / OpenAI；montaj[rvm] 加 RVM 背景移除（onnxruntime CPU）；montaj[demucs] 加音频 stem 分离。
• 本地运行 + 可视化协同：montaj run ./clips --prompt "tight cuts, remove filler, 9:16" 走 headless 模式；montaj serve 启动本地 HTTP + SSE + React UI，Agent 与人协同编辑同一项目。
• 技能合约即文档：skills/onboarding/SKILL.md 是 Agent 上手合约，告诉 Agent 从零开始该读什么、做什么，先 onboarding 再开工。

安装配置

1. PyPI 安装（推荐 headless + 自定义 UI）：pip install montaj，需 Node.js ≥18 单独安装；montaj install whisper 装 whisper-cpp 与模型权重；montaj install ui 装 npm 依赖 + 构 UI。
2. macOS Homebrew 一键安装：brew install theSamPadilla/montaj/montaj，自动装 Node.js 与所有 Python 依赖；montaj install ffmpeg 装固定版本静态 ffmpeg/ffprobe（含 HDR zscale），或 montaj install all 一把装齐。
3. 源码安装：git clone https://github.com/theSamPadilla/montaj && cd montaj && pip install -e ".[connectors]" && montaj install whisper && montaj install ui。
4. 可选 extras：pip install "montaj[connectors]"（Kling/Gemini/OpenAI 连接器）、"montaj[rvm]"（背景移除）、"montaj[demucs]"（音频分离）。
5. 让 Agent 自动配置：直接告诉你的 Agent "Install Montaj from https://github.com/theSamPadilla/montaj, then read skills/onboarding/SKILL.md to get us started."

使用步骤

1. 启动 Agent 加载 montaj 的 SKILL.md，Agent 自动注册 steps/ 与 workflows/ 中的所有步骤。
2. 把原始视频丢到 ./clips/ 目录，Agent 用 probe 步骤探查媒体信息（时长、分辨率、音频轨道）。
3. 用 transcribe 步骤跑 whisper-cpp 生成逐句字幕，Agent 据此判断切点。
4. Agent 按工作流模板（tight cuts / overlays / carousel 等）生成 trim 步骤序列，按字幕切点 + 视觉转场自动剪辑。
5. 如需 AI 视频生成，Agent 调用 generate 步骤 + Kling/Gemini connector，从文本提示生成新片段并并入时间线。
6. 启动 montaj serve，浏览器打开 UI 实时看 Agent 进度，可在 UI 里手动微调后让 Agent 续做。
7. 渲染输出：montaj render ./project --output ./final.mp4 走 Puppeteer + ffmpeg 渲染引擎产出最终成片。

适用场景

• 短视频批量剪辑：YouTube Shorts / TikTok / Reels 自媒体批量出片，Agent 按文案 + 字幕自动切点。
• AI 视频工作流：从选题到成片的全流程由 Agent 在 montaj 里串通，Kling/Gemini 生成 + 自动剪辑 + 自动字幕 + 自动封面。
• 播客 / 访谈后期：自动切掉 filler、转写时间轴、按语气重切节奏，背景音分离后单独处理人声。
• 教学视频快速生产：PPT 录屏 → 自动去静音段 → 自动加字幕 → 自动加片头片尾，整条链 Agent 一次性跑完。
• 个人 vlog 智能整理：原始素材丢进去，Agent 按场景分类、按重要性排序、自动出片。

适用人群

• 自媒体内容创作者，每天要批量出短视频，希望把剪辑外包给 Agent。
• AI 视频工作流开发者，需要一个 agent-native 的剪辑 CLI 而不是 GUI-only 工具。
• 教育 / 培训团队，把 PPT 录屏转成带字幕的成品课程视频。
• 播客 / 访谈节目制作，把转写文本作为剪辑指令自动产出剪辑版。
• 个人开发者想做视频内容但不想学 Premiere / Final Cut，Agent 帮你剪。

工作原理

Montaj 把"Agent-native 视频编辑"拆成工具 + 编排 + 技能合约三层：steps/ 是原子 CLI 工具，每个都暴露 JSON schema 让 Agent 按 schema 调用；workflows/ 是预设的步骤序列（如 overlays / ai_video / carousel），Agent 可调用也可改；skills/ 是给 Agent 读的合约（onboarding / edit-session / ai-video-plan / ai-video-generate 等），告诉 Agent 在什么场景该调哪些步骤、按什么顺序。Agent 是创意大脑，montaj 是工具箱；render/ 用 React + Puppeteer + ffmpeg 做最终合成，serve/ 用 HTTP + SSE 让 UI 与 Agent 实时协同同一份工程。

官方链接

• PyPI：https://pypi.org/project/montaj/
• GitHub：https://github.com/theSamPadilla/montaj
• Mac App：https://montaj.ag
• 模板库：https://montaj.ag/use-cases