2024年9月12日上午，中国科学院大学人工智能学院有幸邀请到了中国科学院自动化研究所研究员徐德老师，在雁栖湖校区教一楼215教室为同学们带来科学前沿讲座——《机器人视觉伺服控制》。主要介绍机器人视觉伺服的研究进展。其中包括视觉伺服的定义和视觉伺服系统的分类。同时，也包括视觉信息与运动之间的映射关系、单目视觉伺服的研究现状和误差表征方法，重点探讨的视觉伺服方法。此外本讲座还讨论影响视觉伺服的若干关键因素，最后给出部分应用实例，并对视觉伺服的发展进行展望。
机器人视觉伺服控制包括很多方面，徐德老师首先通过视觉控制、视觉开闭环控制的基本概念，引入视觉伺服是利用视觉信息对机器人或者相机位姿进行的伺服（随动）控制，使机器人或相机快速达到期望位姿。同时，老师还介绍了相机内外参数、镜头畸变参数、相机标定和手眼标定等概念，为之后的理论分析打下基础。关于系统分类相关知识，老师将其概括为：按照被控制量所在空间的分类、按照相机与机器人关系的分类和按照运动映射关系的分类这三个方向。
此外，在按照被控制量所在空间的分类中，为了克服基于位置的视觉伺服控制精度差和基于图像的视觉伺服稳定性较差问题，采用了混合视觉伺服，该方法既有3D空间的参量又有2D图像空间的特征。对于视觉信息与运动的映射相关内容，其中包括分析相机运动和图像特征变化之间关系的交互矩阵，又称图像雅可比矩阵。除此之外，还有分析两个视点之间几何关系的单应性矩阵和两个视点下图像之间约束关系的基本矩阵。
在解到上述视觉伺服相关基础内容后，我们应该怎么使用呢？徐老师在误差表征与控制律设计部分中，首先介绍了基于交互矩阵的视觉伺服相关内容，为了解决在旋转量较大时，存在相机后退问题，可以使用基于点交互矩阵的分离式的方法，也可以将旋转和平移控制律分开的方法来实现。除此之外，还有基于矩特征交互矩阵的分离式方法，基于多特征交互矩阵的分离式方法。除了交互矩阵的视觉伺服相关内容外，与基础知识中介绍的三个矩阵对应，老师还介绍了基于单应性矩阵的视觉伺服和基于基本矩阵的视觉伺服。除了上述方法外，老师还简述了基于线特征的、基于互信息的、基于CAD模型跟踪方法的各类视觉伺服。
接着，徐老师进一步分析了机器人视觉所涉及到的图像采集（显著性）、图像处理（实时性和可靠性）、视觉标定（方便性）、视觉测量（准确性）、视觉控制（平稳性）等问题。对关键问题而言，包括相机选型问题，因为在不同的应用场景中，会对相机有着不同的需求，比如透视投影相机可以采用小孔模型描述而全景相机等相机则可以采用球面模型描述。除此之外，徐老师还对于常用特征与误差表征、深度估计、位姿耦合、标定和目标丢失等关键问题进行了阐述。
同时，为了加深我们对机器人视觉伺服控制的理解，徐老师列举出了在工业、农业、交通、航空航天、医疗等众多领域的典型应用。其中也包括目前处于热点的具身智能，即用于人形机器人操作手与环境的交互等。
最后，徐老师对于机器人视觉伺服进行了总结和对未来的发展趋势。视觉伺服可以与大模型相结合，大幅提高机器人的智能性和环境适应性。同时网络化将有利于对计算能力的大幅度提升，将复杂的计算放在云端，可以极大地简化本地控制系统。对于器人视觉伺服，徐老师总结为心明眼亮、眼疾手快、心灵手巧、看得清、对得准和做得细这几点。机器人视觉伺服控制有着广阔的发展前景，同学们在本次讲座中受益匪浅。
更多专家信息：
徐德，中国科学院自动化研究所研究员，博士生导师。主要从事机器人视觉测量与控制、显微视觉测量、微装配、机器人操作技能学习等专业领域的研究工作。分别在1985年和1990年于山东工业大学获学士、硕士学位，2001年于浙江大学获博士学位。中国自动化学会智能制造系统专业委员会第一届专委会主任委员，中国人工智能学会智能机器人专业委员会委员，IEEE Senior Member，中国电子学会高级会员。曾任IEEE Transactions on Automation Science and Engineering编委、International Journal of Automation and Computing编委、自动化学报编委。主持与参加国家“863”、国家自然科学基金等课题20余项。获得省部级奖励5项，撰写著作5部，获得国家发明专利50余项，发表期刊论文100余篇。
