港科大推HelixWorld 实时视听同步24帧

时间：2026年10月12日，模型由 Noiz AI 与香港科技大学联合发布并开源论文与预览权重。 地点：中国香港，香港科技大学与 Noiz AI 实验室。 人物：论文共同一作 Lei Ke、Jiahao Pan 与 Zeyue Tian（贡献相当），通讯作者为 Zeyue Tian 与 Wei Xue，作者团队来自香港科技大学（HKUST）与 Noiz AI。 事件详情：2026 年 10 月 12 日，Noiz AI 与港科大推出 HelixWorld，一个实时交互式视听世界模型。从一张起始图加文本提示出发，配合键盘与 6-DoF 摄像头轨迹指令，模型会同步输出 24 FPS 视频和摄像机本体定位的 48 kHz 空间立体声音频；输出分辨率 768×512，单张 NVIDIA H800 可实时推理，预训练数据集与代码已开源。 背景：现有世界模型大多先生成静默视频、再事后混音，时间对齐和声场随视角变化的一致性都较弱；HelixWorld 用统一 Transformer 将声音与画面同时纳入生成，并推出 HelixBench 衡量声场跟踪镜头运动的能力，将“生成画面加轨道”这种后置路线升级为原生视听共生。 影响：模型实时推理不需集群，80 GB 显存单卡即可跑通；研究、互动内容创作、游戏音效设计、机器人仿真等团队都能直接拿来打草稿；同时开源的论文、GitHub 与 Hugging Face 预览权重降低复现门槛，加速世界模型从视觉向视听扩展的研发节奏。 总结：HelixWorld 将世界模型的输出从“静默视频”升级到“视听共生”，是世界模型多模态化的代表性进展，也强化了港系研究在沉浸式 AI 上的存在感。 参考来源： https://noiz.ai/lp/blog/meet-helix-world https://arxiv.org/abs/2609.38123 https://huggingface.co/noiz-ai/helixworld-preview https://helixworld.org https://chatpaper.com/paper/353313 https://infernews.com/blog/category/ai-productions/page/1 https://github.com/noiz-ai/helixworld https://pulseaugur.com/zh-cn/cluster/204360-helixworld-1-0-real-time-interactive-audio-visual-world-model-released