家用机器人指令跟随训练新数据集发布

通过智能家居设备，用户已能指令语音助手完成开关门等基础操作。但未来 AI 助手需处理更复杂的日常任务，如准备早餐等。为此，AI 助手需具备物体交互、自然语言理解及对话澄清能力。

为推进此类 AI 助手开发，某机构公开了名为 TEACh（任务驱动型对话实体代理）的新数据集。该数据集包含：

• 3,047 组可复现的模拟对话

• 第一人称视角的模拟环境视觉数据

• 12 种任务类型（如制作咖啡、三明治等）

• 45,000 余条对话语句

数据采集采用双人协作模式：一名工作人员扮演用户提供指令，另一名作为机器人执行操作。模拟环境基于 AI2-THOR 平台，包含厨房/卧室等 4 类房间的 30 种变体。机器人可执行取放物品、开关电器、倾倒液体等 21 种动作。

数据集支持三种基准测试：

1. 对话历史执行（EDH）：根据对话历史预测后续动作

2. 对话轨迹生成（TfD）：根据完整对话重建动作序列

3. 双代理任务完成（TATC）：用户与机器人模型协同完成任务

特别值得注意的是，该数据集包含大量真实对话特征：

• 不同颗粒度的指令（从概括性指导到分步说明）

• 时间错位指令（提前或延迟的步骤提示）

• 纠错对话（如提醒清理水槽后再放置物品）

数据集已作为某机构 SimBot 挑战赛的基准测试基础，相关论文与基准模型性能已发布于 arXiv。该研究涉及 30 种厨房场景及多数卧室/浴室场景，通过"可见/未见"房间划分验证模型泛化能力。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手