具身智能论文学习12：OpenVLA-OFT：Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success

第一部分基本收录情况项目内容论文全名Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success中文译名《视觉—语言—动作模型的微调优化推理速度与任务成功率》方法名称Optimized Fine-Tuning简称OFT具体模型OpenVLA-OFT加强版本OpenVLA-OFT正式会议Robotics: Science and Systems XXI会议简称RSS 2025正式论文编号Paper 17SessionSession 2VLA ModelsDOI10.15607/RSS.2025.XXI.017会议时间2025年6月21日至25日会议地点美国洛杉矶南加州大学作者Moo Jin Kim、Chelsea Finn、Percy Liang主要机构Stanford University斯坦福大学基础模型OpenVLA基础模型规模约7B级主要微调方式LoRA核心动作生成Parallel Decoding Action Chunking动作表示连续动作主要损失L1​ RegressionOFT新增模块FiLM语言条件调制仿真基准LIBERO真实机器人双臂ALOHAALOHA控制频率25Hz代码/Checkpoint已公开第二部分解决的问题1问题1VLA 到新机器人后到底应该怎么 fine-tune如何将预训练 VLA 高效地适配到新的机器人和任务同时获得高成功率与高频实时控制能力为什么强调“适配”因为 OpenVLA 本身已经有很强的 pretrained representation但真正换成一个新 robot embodiment、新 action space、新 camera setup 后还是需要 fine-tuning问题是以前并不知道怎样 fine-tune 才最好。应采用什么样的 fine-tuning recipe微调策略才能同时获得高成功率与高频实时控制能力2问题2下游动作生成为什么还必须沿用自回归范式预训练阶段用 AR discrete token不代表下游 fine-tuning 也必须继续用 AR discrete token。①OpenVLA→离散动作Token自回归②Diffusion Policy→Diffusion连续Action Chunk③π0​→Flow Matching连续Action Chunk④FAST→DCT压缩动作Token自回归现在OpenVLA-OFT又给出了第五种答案连续Action Chunk并行预测L1​回归​FAST认为自回归本身不是问题把动作Token化好就可以。​OpenVLA-OFT 因此进一步提出如果机器人最终需要的是连续 Action Chunk那么下游控制是否还有必要继续使用逐 token 的 autoregressive decoding为什么下游机器人控制还一定要自回归生成动作​它给出的答案是不必干脆把动作自回归取消。​通过Parallel DecodingContinuous Action ChunkL1​ Regression​模型可以一次前向传播并行预测整个连续动作块。论文实现上就是用 empty action embeddings 和 bidirectional attention让多个动作位置同时预测第三部分原始OpenVLA为什么不适合高频机器人先回忆原始OpenVLA。每个时刻输出7维动作每个维度独立量化成256个bin。然后逐个生成a_t[ Δx, Δy, Δz, Δrx, Δry, Δrz, g ]↓ ↓ ↓ ↓ ↓ ↓ ↓Tt,1 Tt,2 Tt,3 Tt,4 Tt,5 Tt,6 Tt,7然后 自回归ARTt,1 → Tt,2 → Tt,3 → ... → Tt,7也就是说一个动作时刻就需要7次顺序解码原始OpenVLA一个单步动作大约需要0.33s实际速度只有3∼5Hz而双臂、高频机器人可能要求25∼50Hz问题就非常明显。如果还想输出长度为 K 的Action Chunk那么原始OpenVLA需要K×D​次顺序生成。例如ALOHA即14×25350个动作标量。如果还逐个自回归基本无法实时控制。而 OpenVLA-OFT 的第一个想法正是这 7 个动作维度本来就是同一个时刻的动作为什么一定要一个一个生成完全可以同时预测。所以把改成对应“一次并行预测”这就是Parallel Decoding。论文明确说它把原本需要次串行 decoder pass 的动作生成改成一次 forward 同时预测全部动作。第四部分OFT名称的来源VLA微调的三个关键设计变量作者把VLA微调拆成三个问题。设计问题方案A之前的方案B现在的解码方式自回归Autoregressive速度慢并行解码Parallel Decoding动作表示离散Discrete会损失精度连续Continuous学习目标交叉熵Cross EntropyL1 损失 / 扩散L1 / Diffusion最后实验发现Parallel DecodingAction ChunkingContinuous ActionL1​​综合效果最好。于是把这个组合命名为Optimized Fine-TuningOFT​需要特别注意OFT不是新的VLA预训练方法而是已有VLA的下游微调配方。作者的主实验仍然从预训练好的OpenVLA开始并因为下游数据量较小而采用LoRA适配。Figure 2概括了论文研究VLA微调时的两个核心结构选择以及三个设计维度。左侧比较原始OpenVLA的Autoregressive Decoding与论文提出的Parallel Decoding原始方法使用因果注意力动作必须按照a1​→a2​→⋯→aD​依次生成而并行方法将动作位置作为EmptyAction Embeddings空动作占位符输入并使用Bidirectional Attention双向注意力使所有动作位置能够在一次前向传播中同时预测因此特别适合进一步生成Action Chunk。右侧比较动作表示与训练目标OpenVLA原本将连续动作离散成256个bin并通过Next-token Prediction和交叉熵预测动作TokenOFT则研究直接输出连续动作并分别使用L1​ Regression和Diffusion进行训练。因此论文实际研究的是“自回归还是并行”“离散还是连续”“Next-token、L1​还是Diffusion”三个关键设计选择。第五部分OFT详细内容1OFT的输入和输出OpenVLA-OFT可以概括为预训练OpenVLALoRA微调​并行连续Action Chunk策略​输入可以包括其中RGB图像​机器人本体状态语言指令。模型输出是训练数据的真实动作是模型预测出来的动作是预测出来的动作序列Action Chunk区别在于这步动作不是一个一个生成而是在一次前向传播中并行产生。2从自回归离散 Token 到并行连续 Action Chunk① Parallel Decoding取消串行自回归原始 OpenVLAParallel Decoding 后这一步只取消自回归串行性还没有讨论连续动作。如果D7那么原先一个时间步大致就是7 次 decoder forward用了Parallel Decoding后一次同时预测1 次 decoder forward​② Continuous Action取消离散 Token加入Continuous Action从进一步改成也就是不仅不串行而且连离散 token 都不要了直接并行输出个连续动作值。③ Action Chunking从一步扩展到未来 K 步最后再加Action Chunking于是一次预测未来步每步维的连续动作。3为什么最简单的 L1​ 回归竟然很好用L1 loss误差取绝对值L2 loss误差取平方对于真实动作模型预测OFT直接使用预测动作和训练数据中的真实动作差多少就最小化两者的绝对值误差。完全不需要动作TokenCross Entropy随机噪声Diffusion反向过程Flow Matching积分。最终就是图像语言状态→Transformer→MLP→连续Action Chunk​作者发现L1和Diffusion在LIBERO成功率上几乎相同L195.3% Diffusion95.4%几乎没有实际差别。这就是论文非常重要的一个结论在这些下游微调任务上复杂生成式动作模型并非必需。​4为什么Diffusion反而不一定划算论文也实现了连续动作Diffusion版本。训练时推理时通过多次去噪默认使用50次去噪结果LIBERO-Long91.1%稍高于L190.7%但推理延迟变成1.907s而L1只有0.0729s如果把Diffusion减少为10步0.4145s,91.0%5步0.2279s,90.0%2步0.0996s,85.7%1步虽然速度接近L10.0731s但成功率直接0%​所以作者认为L1​在本研究的微调场景下提供了非常好的性能—速度折中。​5OFT还能方便加入新输入原始OpenVLA主要输入单路第三人称图像语言但真实机器人通常还需要腕部相机多摄像头关节状态夹爪状态。OFT允许额外加入这些信息。图像处理多个相机共享投影器然后拼接。机器人状态​→独立Projector→一个Embedding最终[Visual Tokens,Proprio Token,Language Tokens,Action Slots]一起送进Transformer。Visual Tokens图像经过 vision encoder 后得到的视觉 token。Proprio Token机器人当前自身状态对应的 token​Language Tokens语言指令例如对应的文本 token。Action Slots前面说的 empty action embeddings也就是提前放好的“待预测动作空位”。即使从256个视觉patch增加到512个模型仍可以达到71.4 actions/s延迟0.112s说明并行解码释放出的计算空间可以用于增加更加丰富的传感器输入。6OFT与OFT的区别FiLM①OpenVLA-OFT核心只有Parallel DecodingAction ChunkingContinuous ActionL1​​②OpenVLA-OFT则OFTFiLM​FiLM全称Feature-wise Linear Modulation逐特征线性调制而OFT在上述基础上额外加入FiLM​用于增强language grounding语言指令跟随能力主要用于ALOHA上FiLM 用语言去修改视觉特征让模型看图时更关注语言要求的东西。假设桌上有三个东西红辣椒绿辣椒黄玉米机器人看到的图片里三个东西全都有。语言指令是“把绿色辣椒放进锅里。”没有 FiLM 时模型虽然同时输入了图像语言但不代表它一定会认真利用语言。它可能在训练数据里发现某些“捷径”比如某个位置最经常放目标物体。于是它可能主要根据视觉位置做动作而没有真正理解“绿色辣椒”这几个字。论文确实发现在 ALOHA 多视角环境中模型可能依赖视觉中的spurious correlations伪相关/捷径从而忽略语言。所以作者想做让语言直接参与视觉特征的形成​而不是图像自己处理完语言最后再放一起这就是 FiLM。FiLM显式把语言信息注入视觉特征其中也就是让语言直接决定哪些视觉特征应该被增强或削弱。论文在每个ViT block的Self-Attention之后、FFN之前进行这种调制。FiLM语言去影响“怎么看图”​Proprio告诉模型“机器人现在是什么姿态”​Empty Action Embeddings提前放好待填写的动作槽​Parallel Decoding一次填完未来25步×14维连续动作​第六部分实验部分1LIBERO 实验设置VLA 微调策略的受控比较论文首先在LIBERO一个机器人操作仿真 Benchmark 评测标准进行控制变量实验。包含4个Suite任务组合LIBERO-Spatial测试空间关系变化LIBERO-Object测试物体变化LIBERO-Goal测试目标变化LIBERO-Long测试较长任务序列每个Suite10项任务提供500条专家示范作者分别微调每个Suite。主实验采用LoRA原因是下游数据只有数百条而OpenVLA预训练约有百万级机器人episodes。Action ChunkK8测试时完整执行8步再重新观察。OpenVLA结果每个Suite共10×50500次rollout。Figure 3展示了作者用于系统研究VLA微调方法的四个LIBERO任务套件。LIBERO-Spatial包含10个空间布局不同的任务用于测试模型对空间关系变化的适应LIBERO-Object包含10个涉及不同物体的任务用于测试物体泛化LIBERO-Goal通过改变任务目标考察目标条件理解能力LIBERO-Long则包含10个长时程多阶段任务用于测试连续操作和长期动作一致性。论文在每个Suite上独立使用500条专家示范进行OpenVLA微调并利用这四类任务分别考察PD、Action Chunking、连续动作以及不同训练目标对下游任务成功率的影响。2LIBERO最重要的性能结果结果可以按“逐层增加模块”来看。方法SpatialObjectGoalLong平均OpenVLA原微调84.788.479.253.776.5 PD AC91.392.790.586.590.2 Continuous Diffusion96.998.195.591.195.4OFTPDAC Continuous L196.298.396.290.795.3这里可以非常清楚地拆出贡献①76.5→90.2 主要来自Parallel DecodingAction Chunking​②90.2→95.3 主要来自离散动作→连续动作​③L195.3Diffusion95.4 说明复杂Diffusion并没有带来明显性能优势。Table I是OpenVLA-OFT最核心的LIBERO性能结果同时承担了方法消融和SOTA比较两个作用。在相同第三人称图像语言输入条件下原始OpenVLA微调平均成功率为76.5%加入Parallel Decoding和Action Chunking后提高到90.2%说明改变动作生成机制本身即可带来约13.7个百分点提升进一步使用连续动作后Diffusion达到95.4%而简单L1​回归达到95.3%二者几乎相同说明在这些下游任务中复杂生成式动作模型并非必需。最终再加入腕部图像和机器人Proprioception后OpenVLA-OFT在经过相同数据过滤条件的比较组中达到Spatial 97.6%、Object 98.4%、Goal 97.9%、Long 94.5%平均97.1%高于π0​的94.2%和π0​FAST的85.5%。3LIBERO推理速度到底提高多少给模型一张 LIBERO 图像 一条语言指令让它生成机器人动作测生成有多快。Parallel Decoding 解决“动作维度串行生成”的问题使推理速度提升约 4×。Action Chunking 让一次 forward 同时产生未来多个时间步将整体 throughput 提升到原始 OpenVLA 的约 26×。Continuous Action L1 几乎不增加额外推理成本却保持了很高的任务成功率因此比 Diffusion 更适合这一 fine-tuning 场景。OFT 的加速并不是用任务性能换来的相反它同时提高了速度、成功率并为 wrist camera、proprioception 等额外输入留下了计算余量。Table II系统展示了不同微调设计对OpenVLA推理速度和LIBERO-Long成功率的影响。原始OpenVLA只能达到4.2 actions/s单次动作生成延迟为0.2396 s单独采用Parallel Decoding后吞吐率提高至15.9 Hz、延迟降至0.0629 s说明将7维动作从顺序预测改成一次并行生成即可获得约4倍速度提升。再加入8步Action Chunk后一次推理可生成8个完整动作使有效吞吐率达到108.8 Hz采用连续动作和L1​回归后达到109.7 Hz对应约26倍于原始OpenVLA同时LIBERO-Long成功率达到90.7%。相比之下50步Diffusion虽然成功率略高至91.1%但延迟达到1.907 s减少去噪步数能够提高速度却会逐渐损失性能降至1步时虽然达到109.4 Hz但任务成功率变为0%。因此该表证明了简单并行连续L1​回归在性能和实时性之间取得了最好的综合折中。4真实ALOHA实验①ALOHA 真实机器人设置论文进一步在真实双臂 ALOHA 平台上验证 OpenVLA-OFT。该平台包含两条 ViperX 300 S 机械臂3 个摄像头1 个第三人称/顶视摄像头 2 个腕部摄像头14 维机器人关节状态Proprioception14 维双臂关节动作控制频率为 25 Hz。其中ALOHA 原本可运行在 50 Hz但论文为了降低训练开销将实验控制频率设为 25 Hz同时仍能保持平滑控制。②ALOHA 与 OpenVLA 预训练设置存在明显分布变化OpenVLA 预训练时主要面对的是单臂单个第三人称相机无 Proprio3–10 HzRelative End-Effector Pose Action而 ALOHA 下游任务变成双臂3 个摄像头14D Proprio25 HzAbsolute Joint Angle Action因此这不仅仅是“换了一个机器人”而是机器人本体、视觉输入、状态输入、控制频率和动作空间都发生了变化。因此ALOHA 实验构成了一个很强的下游适配测试OpenVLA 原本只在低频、单臂、末端位姿控制条件下预训练却需要通过 OFT 适配到高频、多视角、双臂关节控制场景。③四个任务作者在 ALOHA 上设计了 4 个具有代表性的真实双臂操作任务分别覆盖可变形物体操作、长时程接触操作、工具使用以及语言条件控制。其中Fold Shorts要求机器人双臂连续完成短裤折叠共使用 20 条示范Fold Shirt需要完成多阶段、同步的双臂 T 恤折叠共 30 条示范。Scoop X into Bowl则进一步加入工具使用和语言条件机器人需要根据语言指令从 raisins、almonds and green MMs、pretzels 中选择指定食材并用勺子舀入碗中共 45 条示范。Put X into Pot是更长的多阶段语言条件任务机器人需要打开锅盖根据指令从 green pepper、red pepper、yellow corn 中选择目标物体将其放入锅中后再关闭锅盖共使用 300 条示范。这四个任务可以概括为任务主要考察能力示范数Fold Shorts双臂可变形物体操作20Fold Shirt长时程、接触丰富的双臂协同30Scoop X into Bowl工具使用 语言指定目标45Put X into Pot多阶段操作 语言条件控制300在所有 ALOHA 实验中作者采用K25的 Action Chunk也就是模型每次并行预测未来 25 个时间步的连续动作并完整执行这 25 步后再重新读取视觉和机器人状态进行下一次推理。这四个任务并不是单纯测试“能不能抓东西”而是逐步覆盖双臂协同、可变形物体、长时程接触、工具使用和语言条件控制用来检验 OFT 是否真的能够适配复杂的真实机器人任务。④真实ALOHA结果Figure 4 比较了五种方法在四项真实双臂 ALOHA 任务上的完成度包括 ACT、Diffusion Policy、RDT-1B、π₀ 和 OpenVLA-OFT。其中 ACT 和 Diffusion Policy 是从头训练的 imitation learning policy而 RDT-1B、π₀ 和 OpenVLA-OFT 都属于经过下游微调的 VLA。OpenVLA-OFT 在基础 OpenVLA 上加入了 Parallel Decoding、Action Chunking、Continuous Action、L1 Regression并在真实 ALOHA 实验中进一步加入 FiLM。方法平均任务完成分数ACT72.3Diffusion Policy77.5RDT-1B78.4π₀83.9OpenVLA-OFT87.8从具体任务来看简单的Fold Shorts已接近饱和五种方法均达到 100%真正拉开差距的是更复杂的任务。Scoop X into Bowl中OpenVLA-OFT 达到 100%高于 π₀ 的 93.3%难度最高的Put X into Pot中OpenVLA-OFT 仍取得最高的 51.3%。因此OFT 的优势主要体现在需要双臂协调、工具使用、长时程操作和语言条件控制的复杂任务上。论文也总结OpenVLA-OFT 在四项 ALOHA 任务上的整体表现最高。⑤FiLM 是否真的提升了语言跟随能力Figure 5 专门评估 ALOHA 中的 language grounding。作者选择了两个必须根据语言选择目标物体的任务Scoop X into Bowl和Put X into Pot。每个任务都有 3 种可能的语言目标因此如果模型完全没有利用语言、只是随机选择目标其成功率理论上约为33.3%完整的OpenVLA-OFT在两项任务上的平均语言跟随成功率达到89.6%高于 RDT-1B 的 79.2%、π₀ 的 77.1%、Diffusion Policy 的 64.6% 和 ACT 的 62.5%。最关键的消融结果是去掉 FiLM 后OpenVLA-OFT 在两个语言任务上的成功率都降到 33.3%恰好接近三选一随机猜测的水平。论文因此认为在 ALOHA 这种多摄像头、视觉信息复杂的真实场景中模型如果没有额外的语言 grounding 机制很容易依赖视觉中的 spurious correlations而没有真正按照语言指令选择目标。OFT 主要解决动作生成的效率与精度而 OFT 中额外加入的 FiLM 则主要解决真实多视角场景下的语言 grounding 问题。FiLM 并不是 OFT 基础 recipe 的必需组成部分而是针对 ALOHA 中明显的语言跟随问题所加入的增强模块。⑥ALOHA 推理效率OFT 能否真正实时控制双臂机器人Table III 测试了各方法在真实 ALOHA 设置下的推理效率。OpenVLA-OFT 将原始 OpenVLA 的动作吞吐率从1.8 Hz 提升至 77.9 Hz约 43×使其能够满足 ALOHA 的 25 Hz 实时控制需求。虽然其速度仍低于 ACT、π₀ 和 Diffusion Policy但 OFT 的意义并非追求绝对最快而是将一个原本无法实时控制双臂机器人的 7.5B OpenVLA 改造成可实际部署的高频 VLA。第七部分论文最重要的四个创新创新1系统研究VLA下游微调设计空间不是继续堆模型而是第一次较系统地拆开解码方式动作表示训练目标分别验证。创新2用Parallel Decoding彻底摆脱动作自回归瓶颈K x D次顺序生成→1次并行生成这让OpenVLA真正能够使用Action Chunk。Parallel Decoding 不仅并行生成同一时间步的 D 个动作维度还进一步结合 Action Chunking将未来 K 个时间步的全部 KD 个动作位置放入同一次 forward 中预测。因此原本自回归生成一个 Action Chunk 所需的 KD 次串行 decoder passes 被压缩为 1 次并行 decoder pass。创新3证明简单连续 L1​ 回归就可以很强在研究中的下游任务上L1​≈Diffusion但训练更简单推理更快创新4证明之前的VLA通过正确微调可以适配完全不同的新机器人OpenVLA预训练单臂最后却通过OFT适配双臂多摄像头Proprio25Hz不同动作空间​第八部分论文的三个明确局限1L1 Regression 对多模态动作分布的表达能力有限。OpenVLA-OFT 采用 Continuous Action L1 Regression在本文的下游任务中取得了与 Diffusion 接近的性能同时具有更高的训练与推理效率。但本文使用的示范数据通常具有较一致的操作策略当同一状态下存在多种都合理的动作方式时L1 回归倾向于给出单一预测可能难以准确建模真正的multimodal action distribution同一个输入条件下可能存在多种都合理的动作解​作者也指出Diffusion 等生成式方法在这类场景中可能具有更强的表达能力。2OFT 的优势目前主要在下游 Fine-tuning 阶段得到验证。本文的核心结论是保留 OpenVLA 的预训练表示仅重新设计下游的 action decoding、action representation 和 learning objective就可以显著提升新机器人和新任务上的性能与效率。但作者并未证明这套 Parallel Decoding Continuous Action L1 的方案同样适合大规模 VLA 预训练在更大规模、更复杂的数据分布下是否仍需要 Diffusion 等更具表达力的生成式目标仍是开放问题。第九部分RDT-1B论文的引入OpenVLA-OFT 给出的答案是对于很多下游适配任务机器人动作并不一定需要复杂的自回归或 Diffusion 解码简单的并行连续动作回归已经可以做到又快又准。但它也留下了一个更进一步的问题如果真实机器人动作存在明显的多模态性——即同一个状态下存在多种合理的未来动作——单一的 L1 回归是否仍然足够这正好可以引出下一篇RDT-1BRobotics Diffusion Transformer重新回到生成式动作建模路线利用 Diffusion 去描述更加复杂的连续动作分布并进一步讨论大规模机器人数据上的基础模型训练。两篇之间的过渡OpenVLA-OFT 证明了“简单并行回归”在下游适配中的潜力而接下来的 RDT-1B 则把问题重新推向更复杂的场景当机器人动作本身具有多种可能的未来时我们该如何学习整个动作分布而不仅仅是预测一个动作答案RDT-1B 可以看成把Diffusion Policy 的“生成式连续动作建模”思想推进到了大规模、跨任务、跨机器人、语言条件的机器人 Foundation Model 场景。