机器人控制数据集从零上手：三步让 1.7 米人形机器人学会超市补货

机器人控制数据集从零上手三步让 1.7 米人形机器人学会超市补货【免费下载链接】LET-Body-DatasetLET全身运控数据基于VR套装与全身动捕遥操技术实现了机器人对操作员动作的实时重定向涵盖行走、下蹲、转腰及双足全向跟随等高拟人化全身运动控制全面满足全尺寸人形机器人在灵活作业空间内的拟人作业场景需求。项目地址: https://ai.gitcode.com/OpenLET/LET-Body-Dataset凌晨的超市货架前补货员弯下腰从推车里抓起一箱酸奶转身放到货架中层整套动作一气呵成。这样的重复劳动他每天要完成几百次。如果有一台人形机器人能通过观察这些动作学会补货替他把这份体力活扛下来呢让机器人学会的关键就是一份名为 LET-Body-Dataset 的机器人控制数据集。机器人学动作缺的不是肌肉而是说明书很多人以为人形机器人难在硬件——关节够不够多、电机够不够强。其实真正难的是身体怎么动这件小事行走时重心怎么移、下蹲时膝盖该弯多少、转身时腰部转几度。人类靠直觉完成机器人却必须拿到一份精确到数值的动作说明书。LET-Body-Dataset 正是这样一本说明书。它借助 VR 套装与全身动捕遥操技术把操作员的动作实时重定向到全尺寸人形机器人 Kuavo 5 身上再逐帧记录每一个关节的位置、速度、加速度和电流信号。整个数据集包含41 个自由度的全身关节信息覆盖行走、下蹲、转腰、双足全向移动等高拟人化动作是一份专为全身运控设计的机器人控制数据集。打个比方如果把机器人比作一架钢琴这个数据集就是乐谱。钢琴自己不会作曲但照着乐谱弹就能奏出流畅的旋律机器人照着数据集里的轨迹学就能走出像人的步伐、做出像人的动作。它能帮你做什么三个看得见摸得着的场景场景一超市补货与货架理货仓库里最常见的动作是弯腰—抓取—转身—放置。数据集中的supermarket_replenishment与supermarket_shelf_stocking两个任务分别收录了 496 组和 597 组真实作业轨迹每条轨迹都带着侧身弯腰夹取车上的商品这类细粒度动作标注正好用来训练货架自动整理、商品自动上架这类机器人技能。场景二快递包裹分拣分拣的核心是从传送带上拿起来按目的地分类放下考验的是手臂与腰部的协调。这类任务用数据集中由动捕增强的示教轨迹作为模仿学习的监督信号可以让机器人更快学会又快又稳地完成包裹转运。场景三玩具抓取放置小件物品的抓取放置对末端精度要求很高。数据集中记录了下蹲、弯腰等需要实时调整重心的动作片段配合 RGB、深度图、关节状态与 IMU 多模态观测非常适合用来打磨精准取放这类原子技能。从零上手三关把数据跑起来按拿到数据 → 读懂数据 → 可视化数据的顺序走每关都有可以直接照做的命令。第一关把数据集搬到本地git clone https://gitcode.com/OpenLET/LET-Body-Dataset cd LET-Body-Dataset克隆完成后datasets/目录下就是两个任务场景每个场景都由一一对应的.bag文件原始传感数据与运动指令和.json文件任务元数据与动作标注组成累计 1000 余组。第二关读懂一段动作标注.json文件体积不大一段 Python 代码就能把任务信息读出来import json with open(datasets/supermarket_replenishment-5W-leju_claw/A10-A15-C-R-02-TQ_19_01-P5_64-leju_claw-20260423190500-53-b513f5-v003.json, r, encodingutf-8) as f: meta json.load(f) print(任务名称, meta[taskName]) # 商超上货5代人形 print(任务编号, meta[taskCode]) # TQ_19_01 for mark in meta[marks]: print(-, mark[skillAtomic], |, mark[skillDetail])运行后会看到类似- commodities | 侧身弯腰夹取车上的商品的输出。每一条mark就是一个动作片段的起止时间、持续时长和原子技能标签这正是训练模仿学习模型时最需要的监督信息。第三关把原始轨迹可视化.bag里存的是真正的传感器数据。先校验文件是否完好再播放出来看rosbag info datasets/supermarket_replenishment-5W-leju_claw/xxx.bag.bag中包含了三路相机头部加左右手腕的 RGB 与深度图、关节状态含 IMU、灵巧手与夹爪的控制指令和状态反馈。在 RViz 里打开就能看到关节轨迹、图像与姿态数据叠加显示的效果直观感受动作如何被逐帧记录。如果想让数据直接进入训练流程可以对接配套的kuavo_data_challenge工具链它提供了 rosbag 转换、训练与部署的一整套开箱即用流程。避坑指南三个常踩的坑与解法问题.bag文件播放时报错或打不开解法先用rosbag info校验文件完整性若确认损坏就重新拉取。整个仓库数据量较大下载时记得给磁盘留足空间。问题动作重定向有明显延迟解法优先改用有线网络传输避开无线带宽波动再把传感器采样频率适当调低例如降到 100Hz延迟会明显改善。问题目录名太长看不懂每份数据是什么解法项目采用统一的命名规范——任务名-机器人型号-末端类型。比如supermarket_replenishment-5W-leju_claw表示超市补货 5W 机型 leju 夹爪看一眼目录名就能知道数据的来龙去脉。下一步与展望如果你是第一次接触这类数据集建议按这条路径推进先克隆仓库、用上面的 Python 代码跑通一个.json再播放一个.bag感受数据形态最后接入kuavo_data_challenge训练你的第一个动作策略。项目目前收录了 20 多种原子技能并持续扩展覆盖操作、移动与交互多类任务更多机器人型号与末端形态的数据也在不断补充。数据说明见仓库根目录的 README.md英文版见 README_EN.md应用场景图与数据预览图都放在 docs/images/ 下。这套数据集遵循 CC BY-NC-SA 4.0 许可协议非商业研究用途可以放心使用。【免费下载链接】LET-Body-DatasetLET全身运控数据基于VR套装与全身动捕遥操技术实现了机器人对操作员动作的实时重定向涵盖行走、下蹲、转腰及双足全向跟随等高拟人化全身运动控制全面满足全尺寸人形机器人在灵活作业空间内的拟人作业场景需求。项目地址: https://ai.gitcode.com/OpenLET/LET-Body-Dataset创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考