2024年10月31日晚上，中国科学院大学人工智能学院有幸邀请到了中国科学院自动化研究所研究院王硕老师，在雁栖湖校区教一楼405教室为同学们带来科学前沿讲座——《机器人操作技能学习研究》。机器人学习是人工智能和机器人学的交叉学科研究领域，其主要目标是通过学习算法使机器人获得新的技能或适应环境，从而满足复杂、不可预知和结果环境下的需求。目前机器人操作学习的研究进展火热，各方向科研成果丰硕。本报告将对机器人操作技能学习的相关研究进行系统性介绍。
王硕老师首先介绍了机器人操作技能学习的背景和意义，指出机器人和人工智能的研究已成为国际科技前沿的主流。在讲解中王老师提到，当前机器人学面临四大关键科学问题：智能人机交互的操作行为提取与意图理解、复杂操作技能的多层知识表达模型、不确定环境中的自主智能体技能迁移学习、以及刚性/柔性对象的自主学习与协调控制。在解决这些问题时，传统的机器人操作技能学习一般有编程、示教和遥操作三种方法。然而，这些方法在应对多任务、复杂环境时表现出诸多局限性。王老师指出，当前机器人操作技能学习的主流方法包括强化学习、模仿学习和小样本学习，它们在扩展机器人的操作技能方面展现出显著优势。
首先进行的是强化学习讲解。王老师详细介绍了值函数、策略搜索和深度强化学习三种方法及其它们在机器人操作技能学习中的应用。在讲述过程中王老师展示了PPO、GPS、DDPG和TRPO等主流算法在实际应用中的效果，并通过播放TRPO算法训练的机器人的演示视频，让同学们直观地理解了该算法的优势。
其次是对模仿学习的介绍，王老师简要说明了传统的HMM和GMM方法，并重点分析了行为克隆和逆强化学习两种主流方法。行为克隆是自一种通过观察专家的决策行为来训练模型，使其模仿专家的操作的算法。在讲解过程中王老师展示了谷歌在机器人手眼协调抓取实验中的实践案例，指出这一实验验证了行为克隆在机器人操作学习中的可行性。相比之下，逆强化学习则是从专家策略中学习回报函数，再利用该函数获取策略。在讲解时王老师提到了GAIL算法，并通过视频播放了机器人如何通过逆强化学习完成摆盘任务。
最后王老师还介绍了当前机器人操作学习中的另一个重要方向——小样本学习。这种方法在少量样本的基础上，利用迁移学习、元学习、One-shot学习和Zero-shot学习等技术，实现高效的学习。其中域随机化和域适应在迁移学习中的应用大大提高了模型的鲁棒性与准确性。而另一种技术——元学习的核心思想是“学习如何学习”，即希望模型能够适应不同的新任务。王老师强调，小样本学习在数据稀缺和无法大量标注的任务中具有极高的实用价值。
讲解了目前的主流研究方法后，王老师开始了对讲座的另一内容--具身智能的介绍。王老师指出，具身智能是一种具有身体并能支持数据交互的智能体，它是AI的终极形态。具身智能依托四大要素：本体、智能体、数据和学习平台。目前大模型技术十分火热，而具身智能与其结合产生的具身智能大模型，为泛化的具身通用人工智能系统带来了新机遇，目前已有相关的研发成果落地，其中包括特斯拉的具身智能大模型“FIGURE”和斯坦福大学基于模型学习开发的具身智能大模型等。
王老师强调，机器人最基础的功能是“移动+操作”，但实现“理解”才是关键。在真实应用场景中，拟人化的机器人能够将复杂任务分解为基本动作并准确执行，这对通用机器人系统具有重要意义。之后，王老师介绍了认知大模型在具身智能中的应用，并多次强调大模型与机器人结合不仅给通用机器人带来了很大的提升空间，而且有力推动了通用机器人产业的快速发展。王老师指出：目前，国际大模型产业竞争目前呈现“激烈迅猛”，各种模型层出不穷，以语言智能涌现为核心的突破，将推动机器智能进入全新阶段。除此之外，此外多模态大模型与机器人的结合也十分重要，它能给通用机器人带来不小的发展前景。
最后王老师介绍了具身智能大模型在国内外的发展状况和成果实例，通过展示国内企业研发的机器人整理衣物和Tesla FIGURE1机器人通过人机语言交互完成任务的案例，进一步说明大模型在通用机器人产业中的广阔前景。
在讲座的最后部分，王老师介绍了自动化所目前进行的基于视触融合的机器人操作的研究进展，也展示了基于虚拟现实的机器人遥操作控制系统、基于深度模仿学习的机器人操作技能学习、虚拟-真实环境的操作技能迁移学习、基于模仿学习的半自主遥操作系统等多项研究成果，并对同学提出的问题也进行了详细解答，大家在本次讲座中受益匪浅。
更多专家信息：
王硕，中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员，博士生导师。长期从事水下仿生机器人、机器人操作技能学习、多机器人协作、智能机器人控制等方面的科研工作。国家重点研发计划智能机器人重点专项专项总体组专家，ISO TC299 WG1和WG6的工作组专家，中国机电一体化技术应用协会常务理事、人工智能学会智能机器人专业委员会委员、自动化学会机器人专业委员会委员、中国宇航学会机器人专业委员会委员。主持与参加科技创新2030重大项目、国家863计划课题、国家自然科学基金联合基金重点项目等20余项。获得国家和省部级奖励5项，合著图书5部，获得国家发明专利20余项，发表学术论文100余篇。
