JoyAI-Image Vibe 项目

项目简介

JoyAI-Image 是京东开源的统一多模态图像基础模型，把"图像理解 + 文生图 + 指令编辑"三类能力整合在一个模型族中。它由 8B 多模态大语言模型（MLLM）和 16B 多模态扩散 Transformer（MMDiT）组合而成，核心理念是"理解、生成、编辑三者形成闭环协作"——更强的空间理解能让生成与编辑更可控，而视角变换等生成操作反过来给空间推理提供新证据。

核心功能

• 统一多模态接口：一个模型族覆盖图像理解、文生图、指令引导编辑，无需切换模型。
• 空间智能觉醒：在空间理解、可控空间编辑、视角变化推理上明显领先开源同规模模型。
• 长文本渲染：针对多格漫画、密集多行文字、多语种排版、长文档布局优化字体还原度。
• 多视角生成与编辑：支持视角变化、相机控制、物体旋转和精确位置编辑。
• 多图联合编辑：JoyAI-Image-Edit-Plus 支持多图输入，可做跨图合成、协同处理。
• Diffusers 原生集成：Hugging Face Diffusers 已官方接入，一行代码加载使用。

技术实现

模型由 8B MLLM + 16B MMDiT 构成，MLLM 提供高保真空间推理和编辑感知，MMDiT 提供生成能力，二者通过共享接口做闭环训练。数据侧配合自建的 OpenSpatial 数据引擎、OpenSpatial-3M 数据集与 SpatialEdit 训练数据，覆盖空间理解、长文本渲染、指令编辑三类场景；推理默认使用 Flash Attention 3（通过 Hugging Face kernels 库预编译），Hugging Face Diffusers 0.34+ 已合入原生支持。仓库同时给出 INT4 / INT8 / FP8 / NVFP4 等多份量化权重与 ComfyUI 工作流，便于本地和消费级显卡部署。

快速上手

• 创建环境：conda create -n joyai python=3.10 -y && conda activate joyai。
• 安装依赖：pip install -e .（自动通过 kernels 库加载 Flash Attention 3）。
• 图像理解：python inference_und.py --ckpt-root /path/to/ckpts --image test.jpg --prompt "描述这张图"。
• 图像编辑：python inference.py --ckpt-root /path/to/ckpts --prompt "把盘子变蓝" --image test.jpg。
• Diffusers 调用：from diffusers import JoyImageEditPipeline（需 diffusers >= 0.34）。

适用人群

多模态研究者、AIGC 图像工程师、空间智能与具身智能团队、做多图编辑或长文本排版的 ComfyUI 创作者，以及需要可控视角变化的空间理解方向开发者。