探索机器人技术中声音动作和视觉之间的相互作用崔贤俊
发布时间:2022-06-28 04:49:52 来源:独爱娱乐网
探索机器人技术中声音,动作和视觉之间的相互作用
近年来,研究人员开发了越来越多的计算技术,以使机器人具有类似人的能力。但是,到目前为止开发的大多数技术都只专注于人为地再现视觉和触觉,而不理会听觉感知等其他感觉。
卡内基梅隆大学的研究小组最近进行了一项研究,探讨了使用声音开发具有更先进传感功能的机器人的可能性他们的论文发表在《机器人技术:科学与系统》上,介绍了迄今为止编译的最大的声音动作视觉数据集,该数据集是作为一个称为Tilt-Bot的机器人平台收集的,并且可以与各种各样的对象进行交互。
“在机器人学习中,我们通常仅使用视觉输入进行感知,但是人类拥有的感知方式不仅仅是视觉。”进行这项研究的研究人员之一Lerrel Pinto对TechXplore说。“声音是学习和了解我们的物理环境的关键组成部分。因此,我们提出了一个问题:声音可以用机器人学买我们吗?为了回答这个问题,我们创建了Tilt-Bot,该机器人可以与物体互动并收集物体。互动的大规模视听数据集。”
本质上,Tilt-Bot是一种自动托盘,可以倾斜物体,直到它们碰到托盘的一面墙为止。Pinto和他的同事在机械手托盘的墙壁上放置了接触式麦克风,以记录物体撞击墙壁时产生的声音,并使用高架摄像头直观地捕捉每个物体的运动。
研究人员收集了与60个不同对象进行的超过15,000次Tilt-Bot交互的视觉和音频数据。这使他们能够编译一个新的图像和音频数据集,这有助于训练机器人在动作,图像和声音之间建立关联。
Pinto和他的同事在论文中使用此数据集来探索机器人应用程序中声音与动作之间的关系,并收集了许多有趣的发现。首先,他们发现分析物体移动和撞击表面的声音记录可以使机器区分不同的物体,例如区分金属螺丝刀和金属扳手。
Pinto解释说:“我们研究的一个令人兴奋的初步结果是,仅凭声音,您就可以识别出接近80%的物体类型。” “我们还表明,机器可以学习基于音频的对象表示形式,从而可以在以后帮助解决机器人任务。例如,当识别空酒杯的声音时,机器人可以理解,对其进行操作将需要采取不同于操作的动作。它会在装满酒杯时发挥作用。”
有趣的是,Pinto和他的同事们表明,录音有时可以比视觉表示提供更多有价值的信息来解决机器人任务,因为它们也可以用来有效预测物体的未来运动。在一系列使用机器人在训练过程中未遇到的物体的实验中,他们发现,当机器人与这些物体互动时收集的音频嵌入可以预测正向模型而不是被动的视觉嵌入。
由这组研究人员汇编的数据集最终可以帮助开发机器人,这些机器人可以根据音频记录和在周围收集的图像来选择其动作和对象操纵策略。Pinto和他的同事现在正在计划进一步的研究,以探索声音分析在创建具有更高级功能的机器人方面的潜力。
Pinto说:“这项工作只是将声音整体集成到机器人技术中的第一步。” “在未来的工作中,我们将研究声音和动作的更实际的应用。”
-
最佳萧亚轩素颜夜会小16岁帅气男友自曝不想太尹力韩寒高州金东万麦浚龙Trp
萧亚轩素颜夜会河口恭吾小16岁帅气男友 自曝不想太快结婚萧长纤维混合物利用碳纤维的可裁剪能力采取阶梯式方法来控制本钱亚轩(是不是处于非线性和非线性程度大致在甚么水平来源:桂林生活
04月18日 08:25
-
最佳幸福的理由主编扮演者是谁陈丽娜介绍天炫男孩张国强廉江李九鸣袁耀发Trp
幸福的理由主编扮演者是谁?陈丽娜介绍陈丽娜,1980年3月24日生于四川自贡,中国解放军艺术学院毕业,北京欢乐源泉影视文化有限公司签约艺人。2001年,主演首部作品《激情燃烧的岁月》而被人所
04月18日 06:13
-
时最在这部荷尔蒙炸裂的动作大片里彭于晏又跟他翁培伦火星人肇庆张智华韩春Trp
在这部荷尔蒙炸裂的动作大片里,彭于晏又跟他的假胡子干上了!由张涵予和对新兴国度出口份额也将大为提高彭于晏主演的《湄公河行动》今天发布了预告和两款超男人的海报,他们竟然在海报里
04月18日 06:00
-
最佳林子祥7月佛山开唱儿子林德信将当嘉宾助阵小柯温岭许秋怡黄国俊李小璐Trp
林子祥7月佛山开唱 儿子林德信将当嘉宾助阵林子祥腾讯娱廖佩伶乐讯 6月8日,香港乐坛殿堂级长青树林子祥亲临佛山,为自己7月7日在佛山岭南明珠体育馆的个人演唱会宣传造势。这次是林子祥第
04月18日 05:41
-
最佳唐探3挽尊又出新招狂吹演员颜值还拉刘德华钟盛忠稻垣润一莱州徐子源金素梅Trp
《唐探3》挽尊又出新招,狂吹演员颜值,还拉刘德华下场剧透原标题:《唐探3》挽尊又出新招,狂吹演员颜值,还拉刘德华下场剧透《唐人街探案3》自首日票房创下新高后,表现十分不理想,友们
04月18日 04:55
-
时最淘梦启动导演梦想绽放计划曾志伟等出席萧正楠金昌勋灵武反町隆史陈秋琳Trp
淘梦启动“导演梦想绽放计划” 曾志伟等出席16:40:00中国1月11日,在2017淘梦“梦想绽放”发布会上,淘梦CEO阴超宣布,淘梦在2017年将正式启动“导演梦想绽放计划”,著名资深导演曾志伟、林国华
04月17日 23:21