JoyAI-VL-Interaction Vibe 项目

项目简介

JoyAI-VL-Interaction 是京东开源的 8B 规模视觉语言交互模型，把"主动观察 + 主动开口"的能力内置进模型本体，并配套发布训练配方、400 万条时间对齐交互数据和完整可部署系统。它不是等待用户提问的回合制聊天机器人，而是一个"像人一样在场"的实时视频交互智能体：接入摄像头或直播流后，它会持续观察画面，自主判断什么时刻值得开口，必要时主动说话，不必要时保持安静，遇到难题则把子任务委托给更强的后台模型。

核心功能

• 实时在场响应：模型持续监视视频流，遇到重要事件时延迟稳定在一秒以内给出回应。
• 视觉触发主动性：根据画面中真正发生的变化决定是否开口，而不是按固定节奏"播报"。
• Agent 任务委托：在继续观察的同时，将复杂子任务下发给后台模型、API 或 agent，主交互不中断。
• 完全开放技术栈：模型权重、训练数据、训练配方、推理服务和 WebUI 全部开源，便于完整复现。
• 长期视觉记忆：在长视频流中保持上下文稳定，可跨多个事件做时间感知与因果理解。
• 多模态插件接口：ASR、TTS、WebUI、推理、后台 agent 五个组件可插拔，语音输入输出可替换。

技术实现

系统基于 JoyAI-VL-8B 构建，模型每秒自主做一次"说话 / 静默 / 委托"的决策。核心创新是预测式视频编码器 AdaCodec，它对可预测帧只消耗少量 token，仅在场景真正变化时保留完整细节，使长视频流的 token 预算保持可控；行为策略通过强化学习在 400 万条时间对齐片段上训练而成。仓库同时给出量化版本 INT4 / INT8 / FP8 / NVFP4，以及基于 vLLM-Omni 的 day-0 部署支持和京东云 MaaS API，开发者可以本地或云端一键拉起。

快速上手

• 克隆仓库：git clone https://github.com/jd-opensource/JoyAI-VL-Interaction.git && cd JoyAI-VL-Interaction。
• 安装依赖：./install/install.sh --with-all。
• 下载权重：./install/download-models.sh --all。
• 启动服务：./services/scripts/run.sh minimal，浏览器打开 https://127.0.0.1:8099。
• 切换 LiveKit 部署：git switch livekit（避免暴露大量服务端口）。

适用人群

多模态研究者、视频理解工程师、实时交互 Agent 开发者、直播/陪伴/陪伴机器人团队，以及想在本地复现 SOTA 视觉交互模型的高校实验室。