英伟达与MIT团队开源H3视频增强 支持原生4K

时间：2026 年 10 月 28 日，英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队在 Hugging Face 提交了视频增强项目 Open-H3-Regenerate-2K 的模型权重，配套推理代码同步在 NVlabs/Sana 仓库的 sol-engine 分支开放。10 月 30 日，量子位、极客公园、雷峰网、品玩等中文媒体集中报道了该项目。 地点：线上发布，模型权重托管于 Hugging Face 模型库，推理代码托管在英伟达研究团队 NVlabs 的 Sana 仓库，研究团队以 Efficient-Large-Model 名义对外发布。 人物：项目技术博客署名作者为 Sensen Gao、Haozhe Liu、Yitong Li、Haopeng Li、Tian Ye、Jia-Wang Bian、Song Han、Enze Xie；中文媒体称该团队由英伟达与麻省理工学院研究人员组成，底座模型则来自 MiniMax 的 MiniMax H3。 事件详情：MiniMax H3 生成视频分两步，基座模型先出 768P 音视频草稿，再由 H3-Regenerate-2K 在 2K 重绘细节，而这一步长期只有托管接口、没有开放权重。Open-H3-Regenerate-2K 是它的开放替代：一次三步 H3 扩散，在目标分辨率上把草稿重新生成。它可以接收 384P、512P、576P 或 768P 的低分辨率草稿（由 H3 或 LTX-2、SANA-Video 等其它视频模型生成），原生输出 768P、1080P、2K（2560×1440）乃至 4K（3840×2160），单次处理 5 到 15 秒的片段。 训练阶段冻结 H3 Transformer 主干和视频 VAE，只训练一个细化 LoRA（rank 384，5000 步 EMA）；推理时该 LoRA 与社区的 LightX2V FL2VA Turbo、LMS Sharp 适配器合并成单一 LoRA，社区的 H3-Latent-Upscaler 则直接在潜空间放大，避免高分辨率下反复解码再编码。 速度数据来自官方在单张 NVIDIA B200 上的预热测试：对一段 5 秒视频做潜空间放大、三步细化和 2K 解码，未优化实现耗时 87.26 秒，启用 SoL-Engine 与快速 H3 VAE 解码器后降到 22.45 秒，约 3.9 倍；其中快速解码器把解码环节从 15.0 秒压到 1.6 秒，稀疏注意力 Sol-Attn 单独贡献了 39.99 秒的节省。代码说明还提到，SoL-Engine 前向在单卡上约需 150 GB 显存。 画质对比在 RefinerBench-150 上进行，同为 2560×1440 输出时，该方案在 UniPercept 上的平均分为 60.0，官方接口为 53.4；VBench 中该方案的美学质量、成像质量、主体一致性更高，官方接口在运动平滑度和动态程度上略优；一项覆盖 50 个案例、200 次判断的盲测里，87% 的选择偏向开源方案。权重随附 MiniMax H3 社区许可，基座模型使用 MiniMaxAI/MiniMax-H3 的 6818f6c 修订版。 背景：开放权重之前，H3-Regenerate-2K 只有官方 API，开发者无法在自己的 GPU 上运行这一步、无法改动模型，也受限于接口输出的规格。MiniMax H3 于 2026 年 8 月开放权重后生态扩张很快，中文媒体转述项目方数据称，开放后一个月内下载量超过 2400 万次，衍生出 300 多个公开模型。英伟达与 MIT 围绕 H3 的合作覆盖多个方向，除本次方案外还发布了基于 H3 Ref2VA 的流式视频渲染模型 StreamRender-H3，以及从 H3 视频 VAE 蒸馏而来的快速解码器；其方法论文 SoL-Refiner 于 2026 年 9 月 29 日提交 arXiv，编号 2609.37969。 影响：对开发者来说，高分辨率重生成这一步此前只有托管接口，现在有了可自行部署、可继续微调的开放权重，不必再把草稿交给闭源接口才能拿到 2K 或 4K 输出。社区组件（LightX2V FL2VA Turbo、LMS Sharp、H3-Latent-Upscaler）被合并进一个 LoRA 交付，复现和二次开发的门槛明显降低，ComfyUI 等本地工作流也更容易接上。对 MiniMax 而言，H3 的开源底座正在被英伟达与 MIT 的研究团队接住并做成可复现的高阶能力，海外团队 FastVideo、Pika 也分别发布了基于 H3 的四步与六步采样版本。 总结：这次开源的是 MiniMax H3 高分辨率重生成环节的替代实现：三步去噪、2560×1440 起步、最高 3840×2160 原生 4K，单卡 B200 上 5 秒视频端到端耗时压到 22.45 秒。技术路线上冻结底座主干只训一个细化 LoRA，并把社区的蒸馏与锐化适配器合并交付，把能跑和跑得快放进同一个开源包。评测上它在 RefinerBench-150 的 UniPercept 平均分 60.0 高于官方接口的 53.4，盲测偏好率 87%，运动平滑度和动态程度两项仍略逊于官方接口。对中文开发者而言，这值得跟踪：国产底座模型的开源生态，正在被英伟达这样的团队接住并做成可复现的高阶能力。 参考来源： Hugging Face 模型卡 Open-H3-Regenerate-2K，NVIDIA Efficient-Large-Model 团队：https://huggingface.co/Efficient-Large-Model/Open-H3-Regenerate-2K NVIDIA SoL-Engine 技术博客 Open-H3-Regenerate-2K 项目页：https://nvlabs.github.io/Sana/Open-H3-Regenerate-2K/ GitHub 推理代码 NVlabs/Sana 的 sol-engine 分支 Open-H3-Regenerate-2K：https://github.com/NVlabs/Sana/tree/sol-engine/models/Open-H3-Regenerate-2K 量子位：英伟达团队基于 MiniMax H3 开源视频增强方案，最高支持 4K 重生成：https://www.qbitai.com/2026/10/506743.html 极客公园：英伟达团队基于 MiniMax H3 开源视频增强方案，最高支持 4K 重生成：https://w.geekpark.net/news/373204 雷峰网：MiniMax H3 开源生态持续拓展，英伟达团队开源 4K 视频增强方案：https://www.leiphone.com/category/industrynews/eJ3swacisd2iTByo.html 品玩：MiniMax H3 开源生态持续拓展，英伟达团队开源 4K 视频增强方案：https://www.pingwest.com/w/318998 arXiv 论文 SoL-Refiner，方法来源，编号 2609.37969：https://arxiv.org/abs/2609.37969