LongCat-Video Vibe 项目

LongCat-Video 是美团（Meituan）LongCat 团队开源的 13.6 亿参数基础视频生成模型，把文生视频、图生视频、视频续写三类传统上各做一套的任务统一进同一个框架，并通过原生预训练支持分钟级长视频生成不出现色彩漂移或画质崩塌，是开源视频生成向「世界模型」演进的一次系统性尝试。

项目简介

当前开源生态中，多数视频生成模型只能胜任单一任务——文生视频、图生视频、长视频续写往往对应不同的权重和不同的推理管线，开发者需要为不同场景加载不同模型。LongCat-Video 由美团于 2025 年 10 月 25 日首次开源（13.6B 参数基础模型），并在此后陆续推出 LongCat-Video-Avatar（2025 年 12 月 16 日，单/多角色音频驱动角色动画）与 LongCat-Video-Avatar-1.5（2026 年 5 月 21 日，把音频编码器从 Wav2Vec2 升级为 Whisper-Large-v3，并通过步蒸馏把推理压缩到 8 步）。三段迭代在同仓库内持续演进，构成 LongCat 团队向统一视频世界模型迈进的完整路径。

核心功能

• 三任务统一架构：同一权重同时支持 Text-to-Video、Image-to-Video 与 Video-Continuation 三类任务，开发者和下游产品无需为不同场景加载多套模型。
• 分钟级长视频原生生成：模型在 Video-Continuation 任务上做原生预训练，能直接生成数分钟长的连续视频，画面色彩与画质不会随时间漂移。
• 粗到细时空双轴生成：先用低分辨率生成全局动态，再逐步在时间轴与空间轴上做精细化，结合 Block Sparse Attention 高效处理 720p 高分辨率。
• 多奖励 GRPO 强化学习：在内部与公开基准上用 Group Relative Policy Optimization 同时优化多个奖励信号，使生成结果与领先的开源/闭源方案处于同一水平。
• 音频驱动角色动画（Avatar 系列）：Avatar 版本支持音频-文本-图像到视频、视频续写，并兼容单流与多流音频输入，可驱动单角色或多角色动画；1.5 版本进一步泛化到动漫、动物等风格化领域。

特色优势

第一，统一而非堆叠。开源社区对「统一视频模型」的尝试大多停留在论文层面，LongCat-Video 直接给出了覆盖三任务的推理代码与权重，可以马上下载复现。第二，长视频稳定性。分钟级视频生成的最大痛点是时间累积的画质退化与色彩漂移，LongCat-Video 通过 Video-Continuation 的原生预训练绕开这一陷阱。第三，工程友好。提供从权重下载、推理脚本到 GRPO 训练流程的完整代码，并附带 FlashAttention-2/3、xformers 多种注意力后端可选。第四，与下游应用紧密结合。Avatar 系列把音频驱动角色动画做成同仓库的演进分支，无需切换到第三方驱动方案。

应用场景

• 短视频与广告创作：用文生视频快速产出商品展示、活动预热片段，或用图生视频给一张静帧加上动态镜头。
• 电影与游戏概念片：分钟级长视频可作为分镜预演、镜头语言实验的低成本素材来源。
• 数字人与虚拟主播：Avatar 系列支持音频驱动角色动画，能直接生成口型与表情同步的虚拟形象视频。
• 具身智能与世界模型研究：作为开源视频生成 backbone，可用于具身智能体的未来帧预测、动作条件生成等研究。
• 教育与课件制作：把抽象概念（化学反应、物理过程、历史场景）通过一段连贯视频呈现。

技术实现

LongCat-Video 的主干建立在扩散式视频生成框架上，13.6B 参数统一处理三类任务。为了支撑「统一三任务」这一目标，团队设计了多任务联合训练策略：让同一模型在 Text-to-Video、Image-to-Video、Video-Continuation 三类数据上同时优化，并通过任务标识（task token）区分条件信号。推理阶段采用粗到细的级联策略——先生成低分辨率全局动态，再在时间轴（更长的视频）与空间轴（更高分辨率）上做精细化。Block Sparse Attention 是关键效率组件，它在注意力矩阵上做块级稀疏化，显著降低 720p 高分辨率下的显存与算力开销。强化学习侧采用 Group Relative Policy Optimization（GRPO），对画面质量、运动合理性、文本一致性等多个奖励同时优化，相比传统监督微调更稳定。Avatar 系列在主模型基础上增加音频编码器（Wav2Vec2 → 1.5 升级到 Whisper-Large-v3）与时序对齐模块，并通过步蒸馏把采样步数压缩到 8 步。整套实现基于 PyTorch + FlashAttention + Hugging Face 生态，提供单卡与多卡（context parallel）两种推理路径。

快速上手

1. 环境准备：克隆仓库（git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video），创建 Python 3.10 的 Conda 环境。
2. 安装依赖：按 CUDA 版本安装 PyTorch 2.6 + cu124，再依次安装 ninja、psutil、packaging、flash_attn==2.7.4.post1，最后执行 pip install -r requirements.txt。
3. 下载权重：通过 huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video 把基础模型权重拉到本地。
4. 运行 Demo：单 GPU 推理执行 torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile；多 GPU 加上 --nproc_per_node=2 与 --context_parallel_size=2。
5. 尝试其他任务：把 run_demo_text_to_video.py 换成 run_demo_image_to_video.py、run_demo_video_continuation.py 或 run_demo_long_video.py 即可切换到图生视频、视频续写与长视频生成。
6. Avatar 子任务：进入 LongCat-Video-Avatar-1.5 目录，pip install -r requirements_avatar.txt 并安装 librosa + ffmpeg，按 README 运行音频驱动角色动画 Demo。

适用人群

视频生成方向的研究人员与博士生、影视/广告/短视频内容团队、需要数字人动画能力的直播与社交产品开发者、做世界模型与具身智能研究的高校与实验室团队，以及希望低成本快速产出动态素材的设计师与营销人员。

出品方

LongCat-Video 由美团（Meituan）LongCat 团队研发并开源。技术报告与论文可在 arXiv 检索 2510.2220X 系列。官方在 GitHub、X（@Meituan_LongCat）与 Discord 持续发布更新。

项目链接

GitHub：https://github.com/meituan-longcat/LongCat-Video ｜ Hugging Face：https://huggingface.co/meituan-longcat/LongCat-Video ｜ Avatar-1.5 项目页：https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/ ｜ 技术报告：https://arxiv.org/abs/2510.22200