一个AI模型同时搞定3D场景“拍摄“与“创作“，告别中间商赚差价

这项由南洋理工大学与AISphere联合开展的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.05373。有兴趣深入了解技术细节的读者可通过该编号在arXiv平台查阅完整论文。**当3D世界生成遇上中间商困境**假设你是一位室内设计师客户希望你先从几张照片里还原出一个真实的起居室这叫三维重建同时还要让你凭空设计出一个从未存在过的湖边小屋这叫三维生成。传统做法是雇两支完全独立的团队一队专门测量还原另一队专门天马行空地创作。这两队人不仅各有一套完全不同的工具还要分别培训耗时耗力。更麻烦的是每次图纸传到最终施工方手里都要经过一个翻译员把设计稿压缩成施工语言这个翻译过程难免丢失一些细节。这正是过去主流AI研究在三维场景处理上的痛点。南洋理工大学与AISphere的研究团队决定打破这一局面提出了一个名叫**PixWorld**的框架。它用一套系统同时承包了还原和创作两项任务而且彻底去掉了那个翻译员——也就是学术上常说的VAE变分自编码器或RAE表示自编码器这类中间压缩模块。结果是更快、更准、信息损失更少。---一、三维世界的两种工匠测量师与画家要理解PixWorld的意义得先搞清楚这两类任务分别在做什么以及各自的老路子有什么问题。三维重建顾名思义是从真实拍摄的多张照片出发把现实世界里的立体场景复原出来。你可以把它理解成摄影测量师的工作拿着一台相机围着建筑物转一圈拍下几十张照片然后用软件把这些平面图像拼回一个有深度、有体积的三维模型。近年来学界流行用一种叫做3D高斯溅射3D Gaussian Splatting简称3DGS的技术来表示这个三维模型——你可以把它理解成用无数个半透明的椭圆形气泡来填充整个空间每个气泡都有自己的位置、大小、颜色和透明度合在一起就构成了一幅逼真的三维图像。三维生成则更像画家的工作给你一段文字描述或者仅仅一张参考照片让你凭空画出你从未亲眼见过的场景——不同角度的样子、光线的变化、甚至完全虚构的房间布局。这在游戏设计、影视特效、虚拟现实等领域需求极大。这两件事长期以来由两条完全平行的技术路线分头推进。测量师路线重建用的是回归方法直接从图像预测三维参数画家路线生成用的是扩散模型从噪声出发一步步去噪生成内容。两条路线各自有成熟的工具但彼此几乎不通维护两套系统的成本相当高。更值得关注的问题在于画家路线内部。主流的生成方法并不是直接在真实的像素图像上操作而是先把图像压缩成一种编码形式latent space潜在空间在这个压缩后的空间里进行扩散和去噪最后再解码回图像。这个压缩-解码的过程需要单独训练一个自编码器VAE或RAE训练成本高而且压缩本身不可避免地丢失一些图像信息。更关键的是在压缩空间里训练的扩散目标本质上只是在优化编码的质量与最终渲染出来的三维场景之间隔了一层导致三维结构的精度受到限制。PixWorld的核心主张就是彻底去掉这个中间压缩层直接在像素空间pixel space上进行扩散训练让优化目标直接对准渲染出来的真实图像从而更直接地提升三维场景的保真度。---二、PixWorld的核心设计一套系统两种身份PixWorld的架构可以用一个比喻来理解它是一位同时拥有测量师和画家双重执照的全能工匠接到任务后根据输入条件自动切换身份。具体来说给定一组带有相机位置信息的多视角图像PixWorld会把这些图像分成两个子集。一部分是干净视图clean views这些是真实拍摄的清晰照片代表已知的、确定的场景信息另一部分是含噪视图noisy views这些是人为加入噪声的图像代表需要模型去填补或创作的未知区域。当含噪子集为空时模型面对的全是干净照片任务就变成纯粹的三维重建当含噪子集不为空时模型需要在已知视角的引导下把噪声图像还原成合理的新视角内容任务就变成了以已知视角为条件的三维生成。这个切换机制非常优雅两类任务共享同一个模型、同一套参数不需要分别维护两套系统。在模型结构上PixWorld采用了一种叫做双流扩散变换器two-stream diffusion transformer的设计。你可以把它想象成一个大型会议室里面坐着两组人一组处理干净照片干净流另一组处理含噪图像噪声流。两组人有各自独立的工作台独立的投影、多层感知器和自适应层归一化权重但他们坐在同一个房间里可以互相交流——通过共享的自注意力机制干净流和噪声流的信息在每一层都能相互影响。噪声流知道当前处理的是哪个噪声级别时间步t而干净流始终按最高清晰度t1处理确保重建路径不受噪声干扰。相机参数通过一种叫PRoPE的位置编码方式注入模型文字描述如一个温馨的客厅有壁炉和沙发则通过交叉注意力机制融合进来。处理完成后模型会为每个视角预测一张深度图和一组三维高斯属性。深度图告诉系统每个像素点距离相机有多远有了深度信息就可以把每个像素反投影回三维空间得到每个三维高斯气泡的位置中心。所有视角的气泡合并在一起就构成了整个场景的三维高斯表示再通过可微分渲染器从任意新视角渲染出图像。这里有一个关键细节值得细说可微分渲染differentiable rendering的意思是渲染过程本身是可以被优化算法追踪的——也就是说当渲染出来的图像和真实图像有差距时这个差距信号可以一路传回去直接调整三维高斯气泡的各项参数。这就是直接在像素空间上优化三维表示的核心机制也是PixWorld区别于先前方法的根本所在。---三、流匹配损失让训练目标和真实图像对齐PixWorld的训练过程采用了流匹配flow matching框架。用一个直观的比喻假设你要教一个学生把一幅随机涂鸦噪声还原成一幅清晰的风景画目标图像。流匹配的思路是定义一条从涂鸦到风景画的速度向量velocity训练模型去预测这个方向有多准确。在PixWorld里这个速度向量不是定义在压缩后的编码空间里而是直接定义在渲染出来的像素图像上。对于含噪视图渲染图像和真实图像之间的差距按照流匹配公式折算成速度误差对于干净视图渲染图像直接和真实观测做均方误差对比因为干净视图是无噪声的重建锚点不需要流匹配的加权处理。此外训练中还加入了感知损失LPIPS——这是一种衡量人眼感觉两张图像有多像的指标而不仅仅是像素值的数学差距。感知损失只在噪声级别较高时时间步t大于阈值0.3才启用因为当输入图像几乎全是噪声时感知对比没有意义。每次训练迭代还会额外采样4到8个新视角对这些视角的渲染结果也施加均方误差和感知损失确保三维高斯模型从各个方向看都表现良好而不只是在训练视角上好看。深度图的训练则用了一种叫Huber损失的方式对比模型预测深度和从DA3一个深度估计基础模型获得的伪真值深度采用对数尺度计算误差这样在近处和远处的深度都能得到合理的监督。---四、几何感知损失给三维结构装上透视眼即便有了像素级的渲染监督研究团队发现还有一个潜在漏洞纯粹基于图像外观的损失函数并不能完全保证三维结构的几何一致性。这个问题可以用一个有趣的例子来说明。假设你要在一张平面图上画一个立方体从正面看完全正确从侧面看也完全正确但如果你把两个视角的结果单独对比会发现它们其实描述的不是同一个立方体——一个稍微胖一点另一个稍微扁一点。这种情况在三维高斯重建中同样会发生模型可能在每个单独视角上渲染得都很好看但不同视角之间的三维几何结构却存在矛盾比如深度值沿着视线方向飘移、半透明的浮动体凑巧形成了正确的颜色平均值、或者视角相关的纹理掩盖了几何误差。这些问题在含噪视图中尤为严重因为含噪视图在输入阶段没有干净图像的直接监督。为了补上这个缺口PixWorld引入了几何感知损失geometry perception loss。其核心思路是借助一个预训练好的三维基础模型论文中使用的是π?即Permutation-equivariant Visual Geometry Learning模型作为几何裁判。这个裁判的特别之处在于它同时接收多个视角的图像和对应的相机参数输出的特征不只是描述单张图像的外观而是编码了多个视角之间的三维几何关系。换句话说它的眼睛是立体的能看出不同角度之间的空间矛盾。在训练中PixWorld把渲染出的图像组和真实图像组分别送进这个裁判提取出各自的几何感知特征图。然后计算两组特征在每个空间位置上的余弦距离一种衡量两个向量方向差异的指标并把这个距离作为额外的损失加入总体训练目标。这个损失同样只在时间步t大于0.3时启用避免在输入几乎全是噪声时做无效的几何对比。训练时裁判模型的参数是冻结的梯度只从渲染图像那侧传回裁判自身不被更新只充当评分者。这个机制可以理解为在外观评分员像素损失之外又请来了一位只关心空间结构是否合理的建筑评审员两人共同把关最终输出的质量。总体训练目标是三部分损失的加权和渲染损失包含重建项、流匹配项和感知项、深度监督损失权重为1.0以及几何感知损失权重为0.1。---五、模型的体格与训练细节PixWorld的模型体量约为10.44亿参数从零开始训练没有借助任何预训练的图像或视频模型作为起点。训练数据来自RealEstate10K和DL3DV-10K两个室内外场景数据集共约6.7万个多视角场景。此外还混入了来自BLIP-3o语料库的1000万张单张图像用于强化模型的二维外观感知能力让单张图像输入时的生成质量更好。训练分辨率为336×448像素在32块英伟达A800-SXM4-80G显卡上运行约20万步。优化器使用AdamW学习率从1×10??线性衰减到1×10??EMA指数移动平均衰减系数为0.9995梯度裁剪上限为1.0。训练时有20%的概率随机丢弃文字条件从而使模型同时支持有文字描述和无文字描述两种使用方式。模型的主干是一个24层的扩散变换器隐藏维度102416个注意力头每头维度64采用SwiGLU激活函数的前馈层以及对Q、K做RMSNorm归一化。输入图像通过16×16的分块方式patchify转换为序列配合可学习的位置嵌入。输出层为每个流各自独立的深度头和三维高斯头深度头输出每个分块的深度值三维高斯头输出35维的高斯属性包括不透明度、协方差、颜色球谐系数等。详细的参数分布显示24层主干共贡献约10.076亿参数其余部分分块嵌入、时间步编码、文字投影、输出头合计约0.364亿参数。---六、测试结果重建与生成PixWorld都站稳了脚跟研究团队在三个基准数据集上对PixWorld进行了系统评测RealEstate10K室内场景、DL3DV-10K更广泛的室内外场景以及WorldScore专门用于评估三维世界生成的综合基准。在三维重建任务上测试协议是给模型提供4张或8张真实照片让它渲染出其他未见过的视角然后与真实图像对比用PSNR信噪比越高越好、SSIM结构相似度越高越好和LPIPS感知差异越低越好三个指标评分。对比的基线方法包括MVSplat、DepthSplat、AnySplat和YoNoSplat。其中YoNoSplat还额外利用了真实相机位姿作为输入属于条件更强的版本。即便如此PixWorld在RealEstate10K和DL3DV-10K的4视角和8视角设置下均取得了最佳的PSNR和LPIPS在RealEstate10K上的SSIM也最优仅在DL3DV-10K的SSIM上略逊于DepthSplat。以4视角RealEstate10K为例PixWorld的PSNR为26.21高于YoNoSplat的25.86LPIPS为0.138低于YoNoSplat的0.143。在三维生成任务上测试分为单图像生成1-view和双图像生成2-view两种设置每种设置又包含多种轨迹配置。单图像设置分为首帧从第一帧向前生成整段轨迹和双向从中间帧向两端各自生成两种双图像设置分为插值两个锚点中间补帧和外推从一端向更远处延伸两种。评测指标分三组新视角合成质量PSNR/SSIM/LPIPS衡量生成图像和真实目标图像的接近程度、生成质量来自VBench的I2V主体一致性、背景一致性、图像质量、美学质量衡量感知真实感以及相机控制精度通过π?估算生成视频的相机位姿与给定轨迹对比用AUC30°/15°/5°衡量。对比基线包括LVSM、GFGeometry Forcing、Gen3C、FlashWorld和Gen3R。在单图像设置下两个数据集平均PixWorld在所有指标上均排第一RealEstate10K的PSNR提升到18.88比最接近的LVSM17.82高出1.06分贝AUC5°从FlashWorld的0.546提升到0.614意味着相机轨迹控制更精准。在DL3DV-10K上PSNR从Gen3R的15.75提升到16.50AUC5°从FlashWorld的0.420提升到0.485。在双图像设置下PixWorld同样领先LPIPS在两个数据集上均最低RealEstate10K为0.210DL3DV-10K为0.340AUC5°最高分别为0.649和0.534。LVSM在纯PSNR/SSIM上较具竞争力但差距不足0.07分贝且LVSM采用确定性回归目标不具备生成能力。在WorldScore综合基准上PixWorld取得了七项官方指标的最高平均分71.04超越此前最优的FlashWorld70.85。具体来看相机控制精度得分91.08第一三维一致性91.39第一光度一致性93.84第一这三项正是PixWorld像素空间设计带来几何精度优势的最直接体现。---七、消融实验几何感知损失到底有多重要为了验证几何感知损失的实际贡献研究团队在RealEstate10K的单图像设置下做了对照实验从完整数据集中抽取1万个序列子集用完全相同的超参数训练两个版本——一个是完整的PixWorld另一个去掉了几何感知损失训练3万步后对比结果。结果相当清晰去掉几何感知损失后PSNR从19.12跌至17.99下降了1.13分贝SSIM从0.717跌至0.612下降0.105AUC5°从0.642跌至0.562相对下降约12.5%。与此同时VBench风格的感知质量指标几乎没有变化这说明去掉几何损失后单张图像看起来仍然不错但多视角之间的三维一致性和相机轨迹精度明显变差。从直观的可视化结果来看没有几何感知损失的版本在生成较远视角时画面变得模糊相机轨迹偏离明显而完整版本的画面更清晰相机轨迹更贴近真实轨迹。这验证了研究团队的判断纯粹的二维像素损失虽然能保证单帧看起来合理但无法充分约束跨视角的三维几何结构需要几何感知损失来填补这个监督缺口。---八、推理速度快还是不够快研究团队在单张英伟达A100显卡上测试了各方法的推理速度。PixWorld生成一个场景需要约15秒使用100次函数调用NFE100每个场景产出8个关键帧。FlashWorld通过蒸馏技术将NFE压缩到4次用时仅10秒速度最快。相比之下Gen3C需要约791秒生成121帧Gen3R需要约882秒生成49帧两者都慢得多。研究团队指出这个对比并不完全公平PixWorld当前运行在较低的输出分辨率下减少了单步计算量而且PixWorld只需8个关键帧就能重建三维表示之后新视角的渲染通过可微分光栅化高效完成不需要像视频扩散方法那样生成整段密集帧序列。研究团队也明确表示将蒸馏技术和模型量化应用于PixWorld是未来工作的自然方向预计能显著缩短推理时间。---九、局限性与未来方向PixWorld目前的评测集中于室内场景数据集在更广泛的室外场景和以物体为中心的场景上的泛化能力还有待进一步验证。像素空间的扩散训练受限于当前的分辨率和算力预算在细粒度纹理保真度和更高分辨率多视角场景上还有提升空间。推理速度方面未来结合蒸馏减少采样步数和量化降低数值精度有望进一步提速。此外三维场景的高精度重建与生成能力也带来了一些潜在的社会影响需要关注对隐私敏感场所的三维重建可能引发隐私问题合成三维内容的滥用也需要谨慎对待。研究团队鼓励在实际应用中保持负责任的数据使用和人工监督。---说到底PixWorld做的事情可以用一句话概括把测量师和画家的工作合并到一个人身上同时去掉了图纸传递过程中的翻译员让施工方三维高斯模型直接从竣工效果图渲染像素中学习而不是从翻译员的速记本压缩编码里猜测意图。这个思路朴素而有效实验结果也印证了它的价值。对于游戏开发者、影视特效制作者、建筑设计师、机器人感知研究者乃至虚拟现实内容创作者来说一个能同时高质量处理重建和生成的统一系统意味着更低的工具切换成本和更流畅的创作流程。当然从实验室成果到真正广泛部署还有一段路要走特别是在更高分辨率、更多样化场景类型和更快推理速度上都还有值得持续探索的空间。有兴趣深入了解技术细节的读者可以通过arXiv编号2607.05373查阅原始论文或者关注南洋理工大学和AISphere在三维场景建模方向的后续工作。---QAQ1PixWorld和传统的三维重建方法有什么本质区别A传统三维重建方法如MVSplat、DepthSplat只能从真实照片还原场景无法凭空生成未见过的内容而PixWorld同时支持从多张真实照片重建和从少量条件图像生成全新视角两种能力共用一套模型参数。更关键的是PixWorld直接在像素图像上计算损失训练信号直接作用于三维高斯表示而非经过VAE压缩编码的中间表示。Q2几何感知损失具体是怎么工作的A几何感知损失借助一个冻结参数的三维基础模型π?作为裁判。这个裁判能同时看到多个视角的图像和相机参数输出编码了跨视角三维结构的特征图。PixWorld把渲染图像和真实图像分别送进这个裁判计算两组特征在每个空间位置上的余弦距离把这个距离纳入总体训练损失强迫渲染结果在三维几何层面而非仅仅在外观层面与真实场景对齐。Q3PixWorld生成场景时需要提供哪些输入A最少只需要一张带有相机位置信息的图像就可以驱动PixWorld进行生成。此外还可以提供文字描述来指定场景风格或内容也可以提供2张乃至更多张输入图像来获得更精确的生成结果。相机轨迹即希望从哪些角度生成新视角是必须提供的这样模型才能知道目标视角的位置。