几年来，机器人专家一直在努力开发能够处理各种日常家务的机器人，比如洗碗或整理。然而，到目前为止，这些机器人还没有被大规模商业化。

　　纽约大学(New York University)的研究人员最近推出了Dobb-E，这是一种专门设计用于有效训练移动机器人完成家务的新框架，最终有助于它们未来的广泛应用。这一框架在服务器arXiv上预先发表的一篇论文中进行了概述，可以应用于各种旨在帮助人类在家中的机器人。

　　该论文的合著者勒雷尔·平托在接受Tech explore采访时表示:“我们的愿景是在不久的将来将机器人引入普通美国家庭。“我们的家里已经有了专业的‘机器人’，比如洗碗机或洗衣机，但一个能够学习如何完成每项家庭作业以及如何在这种情况下提供最好帮助的通才机器人一直是一个遥远的目标。”

　　平托和他的同事们最近的工作有一系列的主要目标，所有这些目标都需要被满足，机器人才能成功地融入家庭环境。首先，该团队希望设计一种有效的方法，允许用户快速教授机器人新技能。

　　这种方法还应该确保机器人的安全，确保它们在学习完成新任务时不会造成任何伤害。最后，它不应该对最终用户特别苛刻，从而确保它简化而不是使他们的生活复杂化。

　　Pinto说:“为了提高效率，我们依赖于数据驱动的学习系统，这种系统的成功在当今部署的最大的机器学习模型中很容易看到。”“我们通过制定系统，在用户的监督下学习，而不是从试错中学习，从而实现安全。最后，我们开发了一种人体工程学演示收集工具，使我们能够在不熟悉的家庭中收集特定任务的演示，而无需机器人直接操作。”

　　Dobb-E框架有四个关键组件，即数据收集工具、预训练模型、多样化数据集和部署方案。第一个组件名为“Stick”，旨在利用用户的智能手机简化数据收集。

　　Pinto说:“Stick是我们廉价但符合人体工程学的数据收集工具，我们用一个教师抓取工具、3D打印支架和iPhone pro制作而成。”“简单的配料清单使这个工具易于使用且价格便宜，而安装的iPhone可以让我们从演示中记录高分辨率视频、深度和运动信息。”

　　使用Stick数据收集工具，平托和他的同事们编制了一个用于训练家用机器人的新数据集，他们称之为纽约之家(HoNY)数据集。该数据集包含在纽约216个家庭环境中使用基于智能手机的设置收集的镜头。

　　与过去开发的其他机器人训练数据集不同，HoNY数据集侧重于更多样化的场景和机器人行为。此外，Stick收集工具允许他们编译比以前的数据集多一个数量级的场景。

　　Dobb-E系统的第三个组成部分是一个预训练的感知模型。该模型在HoNY数据集上进行训练，采用自监督学习方法。

　　Pinto解释说:“我们使用HoNY数据集和最先进的自监督学习算法MoCo-v3来训练家庭预训练表征(HPR)作为我们的视觉识别模型。”“HPR让我们的方法可以在不同家庭的不同场景中进行扩展。”

　　平托和他的同事们在真实的家庭环境中进行了一系列实验，评估了他们的数据收集工具、HoNY数据集和预训练的视觉识别模型的潜力。在这些实验中，他们将训练好的算法部署在Hello Robot Stretch上，这是一种很有前途的多功能移动家庭机器人。

　　值得注意的是，这个机器人被教导完成109种不同的家务。对于每一项任务，研究人员平均使用5分钟的新视频数据来微调他们的模型。

　　平托说:“这篇论文最令人兴奋的结果是证实了，以我们目前的技术水平，我们可以制造出具有学习能力的机器人代理，它们可以在类似的大范围家庭中处理各种各样的任务。”

　　“Dobb-E是一个前沿的研究项目，但通过扩大这个项目的规模，并在它周围建立适当的支架，我们可以期待它成为一般家庭助理的第一步，可以帮助老年人、残疾人或忙碌的父母。”然而，要实现这个目标，我们还需要做更多的工作，包括提高功能，并(对其进行润色)，使其更加用户友好。”

　　Dobb-E框架为实现多功能家用机器人的广泛部署做出了巨大贡献。该团队的初步实验取得了非常有希望的结果，同时也突出了影响家用机器人性能的一些关键因素。

　　在未来，这项最近的工作可以为越来越先进的家用机器人系统的发展提供信息。平托和他的同事已经公开发布了他们的数据收集工具、数据集和预训练模型，因此其他研究团队很快就可以利用它们或将它们改编为自己研究的一部分。

　　Pinto补充说:“虽然Dobb-E解决了在各种不同情况下学习低级技能的问题，但它并没有解决将这些技能联系在一起以完成各种家庭任务的高级计划或政策的需求。”

　　“我们未来的方向之一应该是研究链式技能，以便在家里完成有意义的、长远的任务。我们想要研究的另一个方向是改进操纵杆和机器人上的传感器，并可能迭代我们的深度传感，增加更多的摄像头视图，增加更多的传感器模式，如触摸和声音。”

　　更多信息:Nur Muhammad Mahi Shafiullah et al, On Bringing Robots Home, arXiv(2023)。DOI: 10.48550/ arXiv .2311.16098

　　?2023 Science X Network

　　引用:多布- e: A f

　　用于训练家用多技能机器人的框架(2023,12月18日)，2023年12月18日检索自https://techxplore.com/news/2023-12-dobb-e-f

　　本文档

　　作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司

　　内容仅供参考之用。