ECCV 2024 亮点！RoboTwin：首个双臂协同机器人策略学习 Benchmark

前言

人形机器人要完成各种复杂任务，离不开基础模型的强大泛化能力。但训练这样的模型，需要大量的数据支撑，机器人所需的数据必须包括在这些真实环境中的交互数据。这些数据能够反映机器人与环境的互动情况，帮助机器人学习和适应各种复杂场景，故而数据稀缺成为了制约其发展的主要瓶颈。

RoboTwin

香港大学与松灵机器人、上海人工智能实验室、深圳大学、中国科学院自动化研究所携手共创，提出了 RoboTwin：双臂协同机器人策略学习 Benchmark，该旨在通过结合现实世界的遥操作数据与数字孪生的合成数据，为双臂机器人的研究提供强有力的支持。

该论文获得了 2024 ECCV 协同具身智能 WORKSHOP Best Paper 奖项。

论文作者：Yao Mu，Tianxing Chen，Shijia Peng，Zanxin Chen，Zeyu Gao，Yude Zou，Lunkai Lin，Zhiqiang Xie，Ping Luo

论文链接：https://robotwin-benchmark.github.io/early-version/

GitHub 链接：https://github.com/agilexrobotics/RoboTwin

RoboTwin 数据集

RoboTwin 基准数据集是专为双臂机器人工具使用及人机交互场景设计的，它包含了高质量的注释和多样化的示例，以确保训练的鲁棒性和评估的准确性。

• 数据收集平台：采用了松灵 COBOT Magic，该平台配备了四个 AgileX Arms 和四个 Intel Realsense D-435 RGBD 相机，并搭建在松灵 Tracer 底盘上。

• 数据收集：ARIO 数据联盟提供的工具有助于数据收集和对齐，这些工具可在 GitHub 存储库中找到。每个捕获的帧由来自摄像头的三个图像组成，每个图像提供分辨率为 640 x 480 像素的 RGB 和深度图像。此外，数据还包括机械臂关节和末端执行器的姿势，包括主和从配置，包括左臂和右臂。对于运动任务，还会记录差速驱动底盘的线性速度和角速度。

  所有数据存储和格式均遵循 ARIO 数据联盟制定的统一标准。

ARIO 具身智能数据联盟

• 数据生成方法：在创建数字孪生的过程中，传统方法依赖昂贵的高保真传感器，成本高昂且难以普及。

  这种方法不仅降低了成本，还提供了逼真的视觉效果并支持物理模拟，为机器人系统的训练和评估提供了有力的工具。

• 为此，团队开发了一种创新的方法，使用人工智能生成内容（AIGC）从单个 2D RGB 图像构建 3D 模型（使用 3D AIGC 图生 3D 的 Rodin 模型）

• 此外，RoboTwin 还搭建了融合 3D 资产的空间关系注释（关键的功能点和功能轴等）和大型语言模型（LLMs）来自动生成专家数据的框架。通过 GPT4-V 等先进的大型语言模型，RoboTwin 能够生成符合任务要求机器人控制代码，从而生成大量多样的专家数据集，来支撑策略的学习。

实验结果

• 实验结果表明：RoboTwin 数据集能够显著提升机器人系统的性能。在 COBOT Magic 平台上的六个任务实验中，随着演示次数的增加，任务的成功率显著提高。例如，“Block Hammer Beat”任务从 10 次演示时的成功率为 24%，到 50 次演示时的成功率达到了 80%。

RoboTwin 数据集的推出，不仅解决了双臂机器人领域训练数据稀缺的问题，还促进了该领域技术的快速发展和广泛应用。实验结果表明，利用 RoboTwin 数据集进行训练和评估的双臂机器人系统，在性能上有了显著的提升。

这些机器人能够更好地适应不同的环境和任务，展现出更强的灵巧性、协调性和操作效率。

开放、共享、协同

松灵机器人自成立以来，一直秉持着赋能工程师的理念，致力于为机器人行业和科研教育构建全面的开发平台。通过共享资源、交流思想、合作创新，共同构建更加完善的机器人训练数据集和测试平台，为机器人的学习和训练提供更加丰富和多样的素材。

诚邀更多高校与科研机构与我们携手共创，共同探索更多新的应用场景和技术方向，为机器人的广泛应用和智能化发展贡献更多的智慧和力量。

往期资讯

松灵 Cobot Magic 实现 Mobile Aloha 在模拟与真实环境的复现

松灵 Cobot Magic 集成 Mobile ALOHA 指南:环境配置与数据采集