2021年10月20日，我们有幸请来了刘歆老师来为我们做《人工智能与机器学习中的优化算法简介》讲座。
刘歆老师，现为中国科学院数学与系统科学研究院，研究员、博士生导师。2004年本科毕业于北京大学数学科学学院；2009年于中国科学院数学与系统科学研究院获得博士学位；毕业后留所工作至今。曾在德国Zuse Institute Berlin，美国Rice大学，美国纽约大学Courant研究所等科研院所长期访问。主要研究方向包括：线性与非线性特征值问题、Stiefel流形上的优化问题、分布式优化算法设计，及其在电子结构计算、统计大数据分析、机器学习中的应用。2016年获得国家优秀青年科学基金；2016年获得中国运筹学会青年科技奖；2020年获得中国工业与应用数学学会应用数学青年科技奖；2021年获得国家杰出青年科学基金。目前担任《Mathematical Programming Computation》、《Journal of Computational Mathematics》、《Journal of Industrial and Management Optimization》等国内外期刊编委；并担任中国科学院数学与系统科学研究院-香港理工大学“应用数学”联合实验室副主任，中国运筹学会常务理事、科普工作委员会主任，中国工业与应用数学会副秘书长。
刘老师开场为我们介绍了从大数据到人工智能的发展历史，以及当今人工智能模型的关键组成部分，其中不可或缺的一部分就是优化算法。首先，刘老师介绍了优化问题和计算数学的领域的基本信息，以及优化问题和运筹学的关系。然后为我们讲解了优化问题中的一些基本概念，包括优化问题的形式化定义、优化问题的分类（无约束/约束、连续/离散、凸/非凸、可微/不可微等），然后为我们介绍了优化算法的基本框架（迭代方法）以及算法的停止准则（最大迭代步数、相邻步数间的差、以及最优性条件），也介绍了研究优化算法时常关注的方面，如算法的效率、收敛性、收敛速度等。第二部分，刘老师为我们介绍了一些经典的无约束优化算法，包括先搜索方法（line search）、梯度方法（Gradient methods）、共轭梯度法（Conjugate gradient methods）、牛顿法（Newton methods）、拟牛顿法（quasi-Newton methods）、BB方法、信赖域方法（Trust Region Methods）、针对非线性最小二乘问题的方法（包括高斯牛顿法、Levenberg-Marquardt method）、以及针对有结构性的优化问题的块坐标下降法（Block Coordinate Descent）。第三部分，刘老师为我们介绍了约束优化算法，即罚函数方法（Penalty Function Methods）和无梯度优化方法（Derivative Free Optimization）系列。最后，刘老师为我们展示了优化方法在人工智能、电子电路等领域的重要应用。
刘歆老师是优化领域的知名学者，同学们纷纷慕名而来。刘老师为同学们带来了对优化问题更为深刻的认识，并且在讲解过程中举了很多生动有趣的例子，将十分艰深的数学问题转化为同学们容易理解的直观现象，引人入胜。最后，伴随着热烈的掌声，刘老师结束了本次精彩的讲座。相信这次讲座不仅给同学们带来了优化算法的相关知识，也给同学们带来了对这一领域的研究热情。
