乒乓球运动可大大助推机器人学习研究?

在最近的一篇博文中表示，机器人学习现已应用到许多真实世界任务，但将其应用于需要紧密循环的动态、高速人机交互任务还并不常见。这方面的任务可体现在乒乓球训练上。

乒乓球任务有两个互补的属性，其不仅需要速度和精度(对算法要求高)，还是高度结构化的(环境固定、可预测)。

另外，执行乒乓球任务的机器人可与人和其他机器人分别对战，非常利于有关人机交互和强化学习方面的研究。因此，一些团队已经开发了乒乓球研究平台。

机器人团队同样搭建了一个类似平台，使其能够在多玩家、动态的环境中，研究机器人学习中出现的问题。

视频 | (来源：)

对于该方面的研究，通过两篇论文做了相关阐述，分别题为《i-Sim2Real：紧密人机交互循环中机器人策略的强化学习》()、《GoalsEye: 在一个物理机器人上学习高速精密乒乓球》()，且都已提交到 arXiv 上。

下面对的 i-Sim2Real 和 GoalsEye 两个项目分别做一简单介绍。

在 i-Sim2Real(i-S2R)项目中，机器人的目标本质上是有关合作的。即最大程度与人类玩家连续游戏。

由于在现实中通过人类训练机器人既费时又费力，采用了一种基于仿真(模拟现实)的方法。但该方法较难准确模拟人类行为，尤其是在需要与人类进行紧密、闭环交互的任务上。

因此，开发出一种学习人类行为模型，专门用于人-机器人交互。最终，在与人对战中，机器人能够连续击中乒乓球三百多次。

关于学习人类行为模型，其在官网表示，该问题似乎是一个悖论。若起初缺乏优良的机器人策略，便很难获得人机交互方面的优质数据。但人类行为模型的缺失，又会得不到机器人策略。

为解决这个问题，i-S2R 以一般的人类行为模型为起点，并在模拟和真实训练中不断迭代，人类行为模型和策略都逐渐得到了优化。

还通过不同的人类对手重复训练，来评估 i-S2R。并将它与通常的模拟到现实(S2R，sim-to-real)+微调(FT，fine-tuning)进行比较，发现 i-S2R 反弹长度比 S2R + FT 高约 9%。

i-S2R 和 S2R + FT 的反弹长度直方图显示，S2R + FT 的反弹大部分较短(即小于 5)，而 i-S2R 实现更长的反弹更频繁。

图 | i-S2R 结果摘要(来源：)

还在博文中表示，i-S2R 专注于模拟到真实学习，但有时需要仅使用真实世界的数据进行学习。在这种情况下，缩小模拟到真实的差距是不必要的。

研究人员还简单分析了模仿学习(Imitation learning，IL)和强化学习(Reinforcement Learning，RL)存在的问题。

其认为，IL 提供了一种简易、稳定的学习方法，但它需要获得演示，并且几乎不会超过被模仿者的表现。而在高速环境下，收集专业人员训练时的精确目标定位非常困难。

RL 虽然十分适合这种高速、高精度任务，但它面临着一个艰难的探索问题(特别是在一开始)，并且采样效率很低下。

所以，在另外一个 GoalsEye 项目上，结合行为克隆技术，来塑造精确定位策略。该方法起始于一个结构薄弱的、非目标的小型数据集。其主要考虑乒乓球任务的精度。

推荐阅读