UC Berkeley | 只用单目RGB视频，就能搞定机器人灵巧动作？

从“互联网视频”到“真实灵巧手执行”的端到端数据生成管道——只用单目 RGB 搞定 4D 手物追踪目录01 赛道横向分层三类视频转动作方案真实定位路线1依赖专用传感输入方案H2Sim2Robot路线2单目轻量几何映射方案DexImit、VideoManip路线3Do as I Do 重建动力学双层统一框架02 Do as I Do 双阶段完整技术流水线第一阶段引导式扩散时序重建模块第二阶段带鲁棒优化的物理重定向配套数据产出与实践指南03 行业价值与天然落地局限现有落地价值框架固有短板04 只用单目 RGB 搞定 4D 手物追踪上图来自于伯克利团队发布的Do as I Do完整转换框架。仅依靠普通单目人类RGB视频无需深度、动捕、专用传感设备就能重建完整手物交互三维运动并映射至多自由度灵巧机械臂输出可直接真机运行的操控数据。01 赛道横向分层三类视频转动作方案真实定位截至2026年从人类视频生成机器人灵巧数据的技术路线可清晰分为三类Do as I Do属于通用单目无附加硬件赛道差异化优势与短板一目了然。▲野生互联网视频物体跟踪人工偏好对比本文 vs FoundationPose路线1依赖专用传感输入方案H2Sim2Robot需要激光雷达、深度相机配套采集视频重建精度高但数据采集门槛极高无法利用现成网络素材仅适合实验室定点数据生产规模化拓展能力基本为零工程落地价值有限。路线2单目轻量几何映射方案DexImit、VideoManip仅依靠基础3D模型做手部关键点检测直接坐标平移映射机器人无动力学校验优点推理速度快但遮挡、快速动作下重建误差会被放大真机执行时频繁出现碰撞、抓空野生互联网视频鲁棒性极差仅适合干净无遮挡短片段。路线3Do as I Do 重建动力学双层统一框架全程仅单目RGB输入兼容自拍、网络剪辑、生成视频多类素材第一层引导式扩散跟踪稳定时序手物三维轨迹第二层带预热、扰动采样的物理优化做跨具身重定向加入接触约束规避穿模、打滑。▲重建 - 重定向 - 真机部署端到端完整管线定量层面在150段野生互联网视频人工评测中67%片段本方法重建效果优于最强基线FoundationPose标准DexYCB、HOI4D数据集F-10指标领先同类方法。▲Do as I Do 整体流程总览单目视频到灵巧机器人动作全链路但对比工业级遥操作数据该框架生成轨迹仍存在抓取力度、微小滑移控制缺陷更适合做预训练扩充素材无法替代高精度遥操作核心数据集。02 Do as I Do 双阶段完整技术流水线过往算法相当于“看图复刻人手坐标”只看外表不考虑机器人能不能抓Do as I Do是先看懂人和物体的三维互动逻辑手物三维重建再结合机械手物理限制重新规划一套合规动作动力学感知动作重定向。第一阶段引导式扩散时序重建模块传统SAM3D单帧建模每一帧独立生成物体网格前后帧姿态不连贯运动模糊、手部遮挡时轨迹剧烈漂移。因此研究改进了跟踪逻辑固定单帧提取的物体标准网格仅用扩散模型迭代更新每帧6自由度位姿同时引入2D点跟踪自适应调整引导强度αₚ物体转动幅度越大时序约束权重越高抑制跳变。▲引导式扩散时序重建完整模块流程图为降低推理开销不使用高代价似然打分筛选多组位姿样本改用加权SE(3)距离聚类筛选最优轨迹速度提升30倍且精度几乎无损重建完成后通过深度点云对齐人手与物体尺度消除单目尺度歧义输出全局统一度量空间的4D手物交互序列。▲手物三维尺度匹配几何计算示意图仅单目输入就能处理 ego/外视两类视频把原本只能用深度设备完成的时序重建放到普通RGB素材上大幅拓宽数据源范围。第二阶段带鲁棒优化的物理重定向单纯坐标映射忽略机器人关节极限、碰撞、接触力为此框架基于MuJoCo Warp仿真搭建采样优化管线三大创新点解决轨迹真机不可行问题。▲重定向三大创新效果图优化初始阶段增加空握预热区间允许机械手先调整姿态再执行抓取规避视频初始位置偏差导致直接抓空随机力扰动采样轨迹采样时叠加外力、力矩噪声优化出抗轻微干扰的稳定抓取姿态减少真机滑移过渡惩罚损失区分物体悬空/放置两种状态手无接触时增加损失项强制算法学习贴合抓取动作。▲仿真采样优化轨迹可视化机器人指尖 / 物体收敛轨迹整体采用MPPI采样优化器每规划窗口评估1024条候选轨迹兼顾跟踪精度与物理可行性最终输出双臂UR3e搭配Sharpa灵巧手完整关节动作序列可直接下发真机执行。配套数据产出与实践指南研究基于2000段100DOH互联网视频做统计分析给出行业通用视频筛选实操手册仅有约4%网络视频可产出高质量可用机器人轨迹绝大多数片段存在物体出框、无有效交互、镜头频繁切换等问题。框架输出产物包含同步RGB、机械手关节轨迹、物体6D姿态、语言描述标签格式兼容主流VLA灵巧手模型EgoScale、T-Rex等可直接作为中期微调扩充数据降低真机遥操作采集量。▲10 类真实机器人落地操作实拍序列03 行业价值与天然落地局限现有落地价值首次实现纯单目通用视频全自动转化灵巧操作轨迹不用动捕、深度、VR设备互联网海量日常视频具备机器人训练复用价值低成本预训练素材供给适合高校、初创团队缺少昂贵遥操作设备的研发场景用网络视频先做大模型基础视觉动作先验减少真机采集成本标准化可复用管线重建、重定向模块解耦可单独嵌入现有VLA数据处理流程兼容主流双臂灵巧手硬件。框架固有短板物体材质限制整套重建与仿真流程仅适配刚性物体布料、软管、硅胶等可形变物品无法精准建模柔性操作场景完全失效感知依赖局限仅依靠视觉做交互推理无触觉信息生成轨迹缺少力度区分捏鸡蛋、挤牙膏这类力控精细任务表现较差环境简化重建只建模手与目标物体忽略桌面杂物、墙体等周边障碍物真机运行易发生碰撞仿真与现实鸿沟优化仅在仿真内完成真实机器人传感器噪声、关节间隙未纳入优化仿真最优轨迹落地仍需要微调。04 只用单目 RGB 搞定 4D 手物追踪Do as I Do跳出“必须专用设备采集机器人数据”的固有思维用「时序稳定单目重建动力学感知跨具身重定向」两步式管线把海量闲置人类RGB视频转化为可真机运行的灵巧操作数据为具身智能低成本数据扩张提供可行方案。但同时需要注意的是该框架是数据预处理工具而非完整机器人操作策略刚性物体、无遮挡简单场景优势突出柔性、多障碍、高精度力控任务仍存在明显短板。未来或结合触觉感知、全局场景重建能进一步缩小视频演示与机器人实操的能力差距。Ref论文标题Do as I Do: Dexterous Manipulation Data from Everyday Human Videos论文地址https://arxiv.org/pdf/2606.19333项目主页https://do-as-i-do.com