初冬季节，经历了上周的初雪后，近日天气由寒转暖，我们也有幸迎来了张世华老师的关于《深度学习的数学理解》的讲座。
张世华老师，现为中国科学院数学与系统科学研究院研究员、中国科学院随机复杂结构与数据科学重点实验室副主任、中国科学院大学岗位教授。主要从事生物信息计算、机器智能与优化等研究，主要成果发表在Cell、Advanced Science、National Science Review、Nature Communications、Nucleic Acids Research、Science Bulletin、Bioinformatics、IEEE TPAMI、IEEE TKDE、IEEE TNNLS等杂志。曾荣获中国青年科技奖、国家自然科学基金优秀青年基金、中组部万人计划青年拔尖人才、中国科学院卢嘉锡青年人才奖、全国百篇优秀博士论文奖等。
讲座开始，张世华老师先介绍了深度学习浪潮兴起以来这个领域的发展，以及一些成功的应用，比如在生物领域的杰出成果，同时引用了Ali Rahimi研究员在NIPS 2017演讲时的一句话”Machine Learning has become alchemy”（深度学习已经变成了炼金术），来引出这个领域目前的存在的问题——缺乏扎实的理论研究，然后介绍了近几年从数据、网络架构、训练算法等角度，使用数学工具解释深度学习等一些工作。讲座的主体部分分为两个模块。第一部分是Towards Understanding Deep Learning with Sparse Coding，张世华老师介绍了1996年Nature上发表的用于稀疏编码的Iterative Shrinkage/Thresholding Algorithm (ISTA), 并延伸讲解了它的改进版本，比如将局部性质引入，从而得到的Convolutional Sparse Coding (CSC), 通过将卷积用带有一定形式的约束的稀疏矩阵来表示，可以建立普通的卷积神经网络和sparse coding的联系，这一定程度上揭示了卷积神经网络的背后的本质。然后张世华老师详细介绍了自己发表在National Science Review上的工作Towards understanding residual and dilated dense neural networks via convolutional sparse coding，在这个工作中，将现在卷积神经网络中非常成功的网络架构ResNet和DenseNet类比到特定形式到CSC上，也加深了我们对于这种网络结构到理解。讲座的第二部分是Deep Learning (ResNet) Learns the Geodesic Curve of Wasserstein Space，从将离散化的动力系统出发，引出从保测度映射的角度分析深度学习模型的鲁棒性，将这种鲁棒性理解为从原始数据到目标点的传输代价，从而可以从最优传输理论的角度，解释深度学习中的一些模型和算法取得更优性能的原因。
张世华老师的讲座十分精彩，将近几年深度学习的十分成功的模型背后的数学原理，让我们感受到了深度学习中数学理论的美妙。最后在热烈的掌声中张世华老师结束了本次讲座。在讲座结束后，很多同学留下来和张世华老师讨论问题。相信同学们一定在本次讲座中收获良多！
