Atlas模型发布：开启空间智能新时代，多领域应用前景可期！

空间智能核心判断与Atlas模型发布在a16z最新一期节目中World Labs联合创始人Fei - Fei Li、Justin Johnson和Ben Mildenhall与a16z普通合伙人Martin Casado分享了对空间智能的核心判断即AI不仅要生成逼真画面还要理解同一世界在不同位置和时间的样子。新模型Atlas以“新视角预测”为基础将生成与三维重建整合让少量照片重建场景、三部手机拍出“子弹时间”等应用成为可能。不过更完善的动态模拟、可编辑性和交互能力仍待发展继续扩大模型规模的主要瓶颈是训练算力。Atlas模型功能介绍Martin Casado提到昨天是个大日子他们发布了新的前沿模型Atlas反响热烈且关注持续增加。Justin Johnson介绍Atlas是新一代世界模型能生成、重建和模拟世界。它擅长根据相机条件生成输入图片和相机运动轨迹可引导其生成视频画面擅长用少量图像三维重建输入最多100帧现实图像可重建真实场景结果可为视频或三维表示还能用于模拟如做出“子弹时间”视频和机器人仿真应用。“子弹时间”视频说法源于《黑客帝国》原拍摄需上百台相机、摄影棚和绿幕等现在用Atlas只需三部相机如用三部iPhone拍摄后可重新设计镜头得到惊艳的时间凝固画面。Atlas最核心的是“新视角预测”与大语言模型“预测下一个Token”、视频模型“预测下一帧”不同。输入场景的若干视角或描述进入“空间上下文”可让Atlas判断特定时间和位置看到的世界样子。Ben Mildenhall指出Atlas与其他视频模型的重要区别在于“空间上下文”其输入的每一帧有明确空间含义每张图片对应三维相机位姿能高精度重建还可用于创作和想象而其他视频模型通常只提供笼统文字控制。Justin Johnson认为Atlas在多方面是新东西它将生成和重建放在同一模型完成。此前重建是计算机视觉独立分支生成是文生视频模型擅长的而Atlas首次将两者统一。为此模型从一开始就是多模态的原生支持文字、图片、视频把相机位姿和三维信息作为原生输入。目前采用的三维信息表示方式是深度图文字、图片、视频、三维信息和相机信息在同一模型共同处理。Fei - Fei Li补充这是计算机视觉领域首次将像素生成与像素重建统一该领域存在半个多世纪此模型以视角和视角估计为基础简洁地统一了重建与生成。迈向空间智能的重要一步Martin Casado询问为何新模型是迈向空间智能的重要一步。Fei - Fei Li表示空间智能要能生成、推理、编辑和交互空间最终是包含时间维度的四维。Atlas向前迈出重要一步能生成和估计视角及相机位姿这是理解空间几何的关键信息带来下游应用的涌现能力。但还可在时间维度、模拟保真度等方面继续发展。从Marble到Atlas的发展历程Martin Casado询问World Labs成立两年半为何不直接推出Atlas。Fei - Fei Li表示Justin的团队需要大量GPU。去年发布的Marble世界模型可接收图片、视频和文字提示生成三维世界但主要用高斯泼溅作为输出的三维表示方式这成为其瓶颈。Justin Johnson介绍高斯泼溅实用但限制了Marble模型Atlas重新调整设计基础任务变为“新视角预测”可生成RGB画面和三维信息必要时再生成高斯泼溅世界。此外扩展模型需逐步实验和迭代当时还没有空间智能的规模定律。Ben Mildenhall在三维和重建领域经验丰富他提到公司成立时对生成三维的方法存在不确定性但他对先合成多个视角再构建三维场景的思路有信心此前在密集重建上看到了扩大规模的力量。“密集重建”是三维重建走向产品和商业应用的难题过去需从多个视角拍摄才能重建过程繁琐耗时。现在想将拍摄数量大幅减少让更多旧素材可用于重建Atlas已做了很多相关尝试。Fei - Fei Li提到官网演示中Ben用少量图片重建斯坦福中央庭院且输入图片是地面拍摄展示的是空中俯瞰视角画面遵循空间关系。Justin Johnson指出解决问题需生成和重建配合传统重建方法因视角限制会有遗漏模型需具备生成机制。Ben Mildenhall认为重建与生成结合类似大语言模型的上下文长度在Atlas里可输入大量素材生成画面而Marble有输入限制。Martin Casado理解“稀疏”指拍摄照片少Atlas生成其余视角再用传统重建技术变成三维场景Ben Mildenhall表示认同还提到可操控虚拟相机按顺序生成画面。Martin Casado对模型保持三维一致性感到不可思议Justin Johnson认为部分原因是相信规模扩展假设。他们刚开始做时对成功有信心但不确定能这么快达到好效果。目前限制模型扩大的主要是算力每次增加投入模型表现都会改善只是因发布日期和预算限制了模型规模。Fei - Fei Li讲了个小故事初夏时较小版本的模型做出了镜头穿过花园桌子下的结果他们当即决定要把这个做出来。Atlas的应用场景Martin Casado让Ben谈谈Atlas的应用场景。Ben Mildenhall表示Marble的一种主要用法对应“新视角预测”创作者工作流程环节多Marble能让生成内容有三维一致的世界依据。人们习惯在电脑里维护可保留状态的三维空间Atlas希望通过空间上下文等机制提供控制能力和精确度接收不同模态输入拓展现有领域用途覆盖更多需要复制现实空间或提前设想空间的地方如建筑设计和施工。他还提到做展会展位搭建的例子目前三维软件操作繁琐AI能带来巨大价值这也是开发不同版本模型的动力。Martin Casado询问Atlas与机器人的联系。Fei - Fei Li介绍收购的机器人公司Scenix的核心技术是从现实到仿真再回到现实的系统此前做密集重建痛苦且费时Atlas是解决此事的下一代技术。机器人领域目前最大问题是数据Atlas能帮助将现实环境转成仿真环境获取数据未来还可将其输出与机器人行动规划连接。Justin Johnson补充训练机器人控制策略与其他AI应用不同它要在现实中交互仿真对其很重要。有传统仿真和依赖数据的两条路线Atlas未来可探索训练神经网络模拟器作为仿真环境还可让模拟器成为规划器因为生成、模拟和理解世界有共通核心能力。未来发展方向Martin Casado提到Atlas发布获好评但有专家认为还需更多动态变化。Justin Johnson表示动态能力会继续发展Atlas架构支持动态变化训练数据包含动态内容发布视频里已有东西在动。Martin Casado担心动态变化与三维重建冲突Justin Johnson认为做三维重建希望场景静态但获取静态数据困难让模型接触动态内容可学会分离动态因素目前发布版本后训练更侧重静态场景未来会在动态方面改进。Martin Casado询问是否会得到四维视频Fei - Fei Li暗示有此可能。他还认为即使不增加新能力把现有模型优化也能支撑产业。Ben Mildenhall期待发展多模态能力增加控制条件但不牺牲模型质量解决编辑能力在视频和世界模型中不足的问题探索产品和交互界面问题。Fei - Fei Li认为要回到智能基本原理把观察、体验与交互连成循环沿着Ben所说的方向发展。“新视角预测”与智能的联系Justin Johnson提到“AI完备性”它与“图灵完备性”有联系宽泛理解是存在一个基础AI任务解决它就能解决任何智能问题。大语言模型中“预测下一个Token”被认为具有AI完备性而Atlas的“新视角预测”尤其是生成式的也可能具有这种性质。Martin Casado举例让模型预测电影中凶手Justin Johnson还提到可设定场景让其预测。Fei - Fei Li从进化角度说明新视角预测是动物移动后进化要解决的问题他们相信它是与“预测下一个Token”对应的基础任务。最后Martin Casado祝贺模型发布期待新模型推出。