LingBot-Map — 流式 3D 重建的几何上下文 Transformer

项目简介

LingBot-Map 是蚂蚁集团旗下具身智能公司 Robbyant（蚂蚁灵波科技）发布的一个面向流式 3D 重建（Streaming 3D Reconstruction）的几何上下文 Transformer 基础模型，并以论文形式入选 ECCV 2026 Best Paper Award Candidate。它瞄准一个看似朴素却长期棘手的问题：当相机或机器人以 20 FPS 连续拍摄、序列长度轻松突破万帧时，传统 SLAM、NeRF、3DGS 迭代优化方法都会因为显存爆炸、累计漂移与无法实时而失效。LingBot-Map 用一个端到端的前馈（feed-forward）架构同时输出相机位姿与稠密深度图，配合团队独创的几何上下文注意力（Geometric Context Attention, GCA），让模型在万帧视频上保持稳定重建与接近常数级的内存占用，刷新了流式 3D 重建在多个公开基准上的 SOTA。

核心功能

• 几何上下文 Transformer（GCA）：在一个流式框架内同时整合"坐标全局定位（anchor context）+ 局部几何（pose-reference window）+ 全轨迹压缩（trajectory memory）"，彻底替代传统位姿图优化与手工回环检测，让长序列重建不再累积漂移。
• 高效率流式推理：基于 DINO 主干网络配合 FlashInfer paged KV cache attention 注意力，单卡在 518×378 分辨率、序列超过 10000 帧时仍稳定跑到约 20 FPS，单帧显存与算力消耗接近常数，是当前少有的"可实时、可长视频"前馈方案。
• 稠密几何输出与相机位姿同时回归：模型一次性输出相机位姿（c2w）与稠密深度图，无需后端 BA 优化；针对 KITTI、Oxford Spires、VBR、Droid-W、TUM-D、7-scenes、ETH3D、Tanks and Temples、NRGBD 等 9 个公开基准提供官方评测脚本与基线。
• 可扩展模型族：模型权重同时托管在 Hugging Face（robbyant/lingbot-map）与 ModelScope（Robbyant/lingbot-map），并提供 Stage-1 训练检查点，可加载进 VGGT 模型做双向推理（c2w ↔ w2c），便于跨任务迁移与下游微调。
• 交互 Demo 与离线渲染闭环：内置 demo.py 通过 viser 启动浏览器端实时 3D 可视化（默认 http://localhost:8080），同时提供 demo_render/batch_demo.py 处理上万帧超长序列（官方示例：约 25000 帧 / 13 分钟室内漫游），并支持 sky masking、keyframe interval、windowed inference 等工程化参数。
• 完整的论文 + 技术报告双版本：会议版论文托管在 linzhuo.xyz/gct.pdf，技术报告版在 arXiv（编号 2604.14141），所有代码、权重、评测脚本与示例场景（courthouse / university / loop）都以 Apache-2.0 协议开源。

技术实现

LingBot-Map 的核心思路是把"记忆该记什么"作为可学习的结构问题，而不是把所有历史帧堆叠进 Transformer 的 KV cache。GCA 模块同时维护三个互补的上下文：anchor context 提供全局坐标系与尺度 grounding，相当于一张"全图地图"；pose-reference window 维护当前帧附近的稠密局部几何，相当于短期视觉记忆；trajectory memory 把完整轨迹压缩为一组"per-frame 的紧凑 token"，承担长期记忆职责。三者协同，让单帧的计算与显存开销几乎恒定，即使序列从几百帧扩展到一万帧也不爆炸。前端用 DINO 提取图像特征，交替堆叠 Frame Attention 与 GCA 层，最后接两个任务特定 head：一个预测相机位姿（c2w 矩阵），另一个预测稠密深度图。推理时配合 FlashInfer（paged KV cache attention，可选 fallback 到 PyTorch SDPA），BF16 精度 + --compile 后可观测到稳定 20 FPS。整个项目用 PyTorch 2.8.0 + CUDA 12.8 + Kaolin（仅 batch renderer 需要）训练，pip install 即可跑通 demo。

快速上手

1. 克隆仓库并创建 conda 环境：git clone https://github.com/Robbyant/lingbot-map && conda create -n lingbot-map python=3.10 -y && conda activate lingbot-map。
2. 安装 PyTorch 2.8.0（CUDA 12.8 wheel）+ lingbot-map 本体：pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install -e .。
3. （推荐）安装 FlashInfer 启用 paged KV cache attention：pip install --index-url https://pypi.org/simple flashinfer-python；追求极致速度可追加 flashinfer-jit-cache。
4. 从 Hugging Face 或 ModelScope 下载模型权重到本地，例如 models/lingbot-map.pt；然后跑示例场景：python demo.py --model_path /path/to/lingbot-map.pt --image_folder example/courthouse --mask_sky，浏览器打开 http://localhost:8080 即可看到交互式 3D 重建结果。

适用人群

• 机器人 / 自动驾驶 / AR 感知团队：需要为长序列视觉里程计、3D 重建找到可以替代传统 SLAM / NeRF 的实时前馈方案。
• 3D 视觉研究者：关注 VLM/Spatial AI、几何基础模型、神经 SLAM 的学生与研究员，做下游 benchmark 与 fine-tune。
• 数字孪生与城市建模团队：需要对 KITTI、Oxford Spires、Tanks and Temples 等大规模街景 / 室内数据集做高效几何重建的研究者。
• AI Agent / Vibe Coding 玩家：用 Python 脚本一键起可视化的 3D 重建 demo，用 ECCV Best Paper Candidate 的代码"vibe 出来"自己的三维应用。