长期以来，人们一直梦想着人形机器人能够像人类一样灵活自如，甚至超越人类。然而，由于模拟环境与真实世界之间的物理差异，实现机器人全身协调、敏捷运动仍然是一项巨大的挑战。传统的系统辨识和领域随机化方法往往依赖于繁琐的参数调整，或者导致机器人动作过于保守，牺牲了敏捷性。现在，一种名为 ASAP （Aligning Simulation and Real Physics） 的全新框架横空出世，它通过巧妙地对齐模拟和现实物理特性，让人形机器人能够掌握更加灵活的全身运动技能。
ASAP框架分为两个关键阶段。首先，在预训练阶段，研究人员会利用人类运动视频数据，将这些动作重新映射到人形机器人身上，然后在模拟环境中训练机器人学习这些动作。然而，直接将模拟环境中训练好的策略应用到真实机器人身上，往往会导致性能下降，因为模拟环境和真实世界存在动态差异。为了解决这个问题，ASAP框架进入第二阶段——后训练阶段。在这个阶段，研究人员会让机器人在真实世界中执行预训练的动作，并记录下机器人的实际运动轨迹。
接下来，ASAP框架会利用这些真实世界的运动数据，在模拟器中重现机器人的运动。由于模拟环境和真实世界存在差异，模拟的运动轨迹往往会偏离真实的运动轨迹。这种差异恰好为研究人员提供了学习的信号。ASAP会训练一个“差值动作模型”，该模型能够学习并补偿模拟与现实之间的动态差异。这个模型就像一个“纠错器”，能够修正模拟器中的不足，使其更接近真实世界的物理特性。最后，研究人员会将这个“差值动作模型”整合到模拟器中，并利用它来微调预训练的运动跟踪策略，从而使机器人的动作能够更好地适应真实世界的物理特性。经过微调后的策略，可以直接部署到现实世界的机器人上，无需再借助“差值动作模型”。
为了验证ASAP框架的有效性，研究人员进行了多项实验，包括在不同的模拟器之间进行迁移，以及在真实的人形机器人Unitree G1上进行测试。实验结果表明，ASAP框架在各种动态运动中，都显著提高了机器人的敏捷性和全身协调性，与传统的系统辨识、领域随机化以及动态差值学习方法相比，ASAP能够显著降低运动跟踪误差。
ASAP框架的成功之处在于其能够有效弥合模拟环境和现实世界之间的动态差异，使得在模拟环境中训练的人形机器人能够真正在现实世界中展现出高超的敏捷性，这为开发更加灵活和多功能的人形机器人指明了新的方向。
ASAP框架的关键技术包括:
利用人类运动数据进行预训练: 将人类的敏捷动作转化为机器人的学习目标，为机器人提供高质量的运动数据。
差值动作模型的训练: 通过学习真实世界和模拟环境之间的差异，动态补偿模拟器的不足，提高模拟的准确性。
基于差值动作模型的策略微调: 使机器人策略能够适应真实世界的物理特性，最终实现更高的运动性能。
ASAP框架的实验验证表明:
在模拟器之间的迁移中，ASAP能够显著降低运动跟踪误差，优于其他基准方法。
在真实机器人上的测试中，ASAP也能够显著提高机器人的运动性能，使机器人能够完成高难度的敏捷动作。
该研究还深入探讨了训练差值动作模型的关键因素，包括数据集大小、训练时长和动作范数权重等。此外，研究人员还比较了不同的差值动作模型使用策略，最终确认强化学习微调方法能够实现最佳的性能。
尽管ASAP框架取得了令人瞩目的进展，但其仍然存在一些局限性，例如硬件限制、对运动捕捉系统的依赖以及数据需求量大等。未来的研究方向可能包括开发能够感知硬件损坏的策略架构、利用无需标记的姿态估计或机载传感器融合来减少对运动捕捉系统的依赖，以及探索更高效的差值动作模型自适应技术。
ASAP框架的出现为人形机器人领域带来了新的希望。通过巧妙地解决模拟与现实之间的动态差异问题，ASAP使人形机器人能够掌握更加敏捷、协调的运动技能，为未来人形机器人在现实世界中的广泛应用奠定了坚实的基础。
项目地址：https://agile.human2humanoid.com/
论文地址：https://arxiv.org/pdf/2502.01143
