手机拍张照,AI还你一个可以自由行走的三维空间——Neural Reality Capture
手机拍张照,AI 还你一个可以自由行走的三维空间
你有没有过这种感觉——看到一张特别好看的建筑照片,想钻进画面里四处看看?或者拿到一件产品,想从任意角度观摩,却只有一张静态图?
以前这种体验叫”3D建模”,贵、慢、专业门槛高。现在,一个叫 Neural Reality Capture 的 Skill 把这件事变得像拍照一样简单。
它做了什么?
输入是一堆重叠的照片或视频片段,输出是三种格式:
- Photogrammetric Mesh(摄影测量网格)——可以导入游戏引擎、Unity、Unreal 的那种
- NeRF(神经辐射场)——从任意角度渲染,照片级的真实感
- 3D Gaussian Splat(3D 高斯泼溅)——可以实时自由视角观看,像在空间里漫步
这就是 2023 年 SIGGRAPH 炸场的 3D Gaussian Splatting 技术——把照片中的每个像素点描述成一个 3D 高斯分布,然后用实时渲染的方式重建整个空间。现在它已经不是什么实验室 demo 了,有完整的工程化 Skill 可以直接用。
怎么用?三步走
第一步:选格式
不是所有场景都要用同一种格式。游戏资产要可编辑的 Mesh,虚拟展厅要 Gaussian Splat,文化遗产扫描要带尺度标记的 Mesh。Skill 里有决策表,直接对应你的需求查表。
第二步:拍素材
这不是随便拍几张就行。Skill 会告诉你:
– 重叠率要多少(通常 60-80%)
– 光照要均匀还是要有变化
– 哪些表面最难重建(反光、透明、头发)
– 人物 vs 物体 vs 建筑的不同策略
第三步:重建并导出
支持 provider-independent 工作流——不绑定某个特定平台或工具,按需选最合适的。根据输出格式可以导出 glTF/GLB(网页预览)、USD(VFX 合成)、或者直接交付 Gaussian Splat 文件。
谁在用这个?
最典型的几个场景:
电商产品:拍几张产品图,生成可 360° 查看的 3D 模型,比传统建模快 10 倍
文化遗产:博物馆、文物用这个做数字化存档,可自由视角观赏
建筑/室内:用手机拍一圈房间,生成可供客户自由探索的空间
虚拟演唱会/Virtual Production:用 Gaussian Splat 重建真实演员,放入虚拟场景
为什么值得安装
因为这是目前最完整的”照片→3D资产”生产级 Skill,不是玩具 demo。150+ 相关技能覆盖了整个生成媒体链条,这个 Neural Reality Capture 是其中专门解决”怎么把真实世界带进数字空间”的那一环。
GitHub 开源,136 Stars,calesthio 团队维护,学术引用和工程实践结合——不是那种改个 prompt 就发出来的快餐 Skill。
安装方式:
npx skills add https://github.com/calesthio/generative-media-skills --skill neural-reality-capture
或者直接去 SkillsMP 搜 “neural-reality-capture” 安装。
GitHub: https://github.com/calesthio/generative-media-skills
GitHub: https://github.com/calesthio/generative-media-skills
评论区
登录后可评论。