当前位置:热点 > 正文

乒乓球运动可大大助推机器人学习研究?

2022-11-01 09:32:54  来源:DeepTech深科技

乒乓球运动可大大助推机器人学习研究?

在最近的一篇博文中表示,机器人学习现已应用到许多真实世界任务,但将其应用于需要紧密循环的动态、高速人机交互任务还并不常见。这方面的任务可体现在乒乓球训练上。

乒乓球任务有两个互补的属性,其不仅需要速度和精度(对算法要求高),还是高度结构化的(环境固定、可预测)。

另外,执行乒乓球任务的机器人可与人和其他机器人分别对战,非常利于有关人机交互和强化学习方面的研究。因此,一些团队已经开发了乒乓球研究平台。

机器人团队同样搭建了一个类似平台,使其能够在多玩家、动态的环境中,研究机器人学习中出现的问题。

视频 | (来源:)

对于该方面的研究,通过两篇论文做了相关阐述,分别题为《i-Sim2Real:紧密人机交互循环中机器人策略的强化学习》()、《GoalsEye: 在一个物理机器人上学习高速精密乒乓球》(),且都已提交到 arXiv 上。

下面对的 i-Sim2Real 和 GoalsEye 两个项目分别做一简单介绍。

在 i-Sim2Real(i-S2R)项目中,机器人的目标本质上是有关合作的。即最大程度与人类玩家连续游戏。

由于在现实中通过人类训练机器人既费时又费力,采用了一种基于仿真(模拟现实)的方法。但该方法较难准确模拟人类行为,尤其是在需要与人类进行紧密、闭环交互的任务上。

因此,开发出一种学习人类行为模型,专门用于人-机器人交互。最终,在与人对战中,机器人能够连续击中乒乓球三百多次。

关于学习人类行为模型,其在官网 表示,该问题似乎是一个悖论。若起 初缺乏优良的机器人策略,便很难获得人机交互方面的优质数据。但人类行为模型的缺失,又会得不到机器人策略。

为解决这个问题,i-S2R 以一般的人类行为模型为起点,并在模拟和真实训练中不断迭代,人类行为模型和策略都逐渐得到了优化。

还通过不同的人类对手重复训练,来评估 i-S2R。并将它与通常的模拟到现实(S2R,sim-to-real)+微调(FT,fine-tuning)进行比较,发现 i-S2R 反弹长度比 S2R + FT 高约 9%。

i-S2R 和 S2R + FT 的反弹长度直方图显示,S2R + FT 的反弹大部分较短(即小于 5),而 i-S2R 实现更长的反弹更频繁。

图 | i-S2R 结果摘要(来源:)

还在博文中表示,i-S2R 专注于模拟到真实学习,但有时需要仅使用真实世界的数据进行学习。在这种情况下,缩小模拟到真实的差距是不必要的。

研究人员还简单分析了模仿学习(Imitation learning,IL)和强化学习(Reinforcement Learning,RL)存在的问题。

其认为,IL 提供了一种简易、稳定的学习方法,但它需要获得演示,并且几乎不会超过被模仿者的表现。而在高速环境下,收集专业人员训练时的精确目标定位非常困难。

RL 虽然十分适合这种高速、高精度任务,但它面临着一个艰难的探索问题(特别是在一开始),并且采样效率很低下。

所以,在另外一个 GoalsEye 项目上,结合行为克隆技术,来塑造精确定位策略。该方法起始于一个结构薄弱的、非目标的小型数据集。其主要考虑乒乓球任务的精度。

关键词: 谷歌通过乒乓球运动强化机器人学习 乒乓球运动强化机器人学习 乒乓球运动 机器人学习

推荐阅读

Meta建立了第一个以口语为主的闽南语AI翻译系统

当前的 AI 翻译主要应用于书面语言。但世界现存的几千种语言,近一半是口头语言。口头语言几乎没有规范的书写系统,难以用通常方法来开发 【详细】

英国公司开发图像识别系统 可优化建筑工地的施工进度

建筑工地就像是工人和建筑构件的巨幅拼图,必须在正确的时机将他们凑在一起。随着项目规模的扩大,工程错误和延误的代价也会变得越来越高昂 【详细】

再生组织疗法进入3期临床试验阶段 利用自体皮肤治疗糖尿病足

今年早些时候,美国的组织再生和生物材料技术公司 (NASDAQ:PTE)宣布其 SkinTE 产品获得了美国 FDA 的再生医学高级疗法(RMAT)称号。据 【详细】

不公平的人工智能系统会导致无辜的人被逮捕

人工智能系统已经广泛存在于我们的日常生活中,但我们可能需要几个月、甚至数年的时间才能弄清楚它们是否存在偏见,以及是什么样的偏见。这 【详细】

CB Insights 发布了第五届全球金融科技 250 强榜单

从保险科技、数字银行、加密货币到财富管理, Fintech 250 榜单(全球金融科技企业 250 强)致力于在全球范围内寻找 250 家最具发展前 【详细】

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技新闻网 版权所有