6月2日上午，中国科学院大学人工智能学院有幸邀请到了京东探索研究院资深研究员刘武博士、HiDream.ai资深研究员潘滢炜老师，在雁栖湖校区教一楼207教室为同学们带来科学前沿讲座——《多媒体分析：技术前沿和应用实践》。
首先刘武老师简单介绍了京东探究研究院的前沿研究，包括超级深度学习、可信人工智能与量子机器学习等相关最前沿的研究方向。接着，刘武老师对单目视觉3D模型生成进行了详细介绍，从模型的生成：二维关键点到三维关键点生成到最后三维模型重构的过程，到引入 SMPL模型进行建模。并针对了单目视觉3D人体3D重建算法，重点介绍多人3D建模重建、空间相对位置重建、动态相机+世界坐标系时空轨迹等代表性研究工作。最后对视觉与惯导设备融合的动捕方案不同的设置与精度对比，提出了该技术在数字人虚拟主播等应用前景。
潘滢炜老师首先提出了关于Vision to Language三起三落的发展过程，阐明这个发展过程中遇到了仅有单个词描绘图像、句子语法单一不灵活、语料库拓展难等三个阶段所遇到的困难；紧接着详细介绍了增强Encoder、调整Encoder-decoder with Interaction、通过跨模态与训练学习出通用的Encoder-Decoder等解决方案；然后介绍了用Diffusion 模型从文本到图像，从图像到视频生成过程发具体实现；最后介绍了京东拍照购、搭配生成、广告文案的自动生成、只能视觉机械臂的一些跨模态技术的具体应用实例。
近几年，深度学习的快速发展极大推动了多媒体领域的研究进展，同时多媒体技术呈现出多学科交叉融合的发展趋势。在本次讲座中，我们将介绍多媒体分析在人体、图像、视频等方向的技术前沿和应用实践。还将特别展示多媒体研究从内容理解到内容创作的转变。本次讲座激发了同学们对多媒体分析的兴趣，也为同学们今后的研究方向提供了一个很好的参考。
更多专家信息：
刘武博士。现任京东探索研究院资深研究员，研究方向为多媒体与计算机视觉，在IEEE CVPR、ACM MM、IJCAI、AAAI等重要国际会议和期刊上发表文章90余篇。曾获得了IEEE多媒体领域三大国际旗舰期刊和会议最佳论文奖。刘武其入选了国家级青年人才计划。获得了北京市科技新星奖、天津市科技进步特等奖、ACM中国新星奖、中科院院长特别奖等奖项，担任了IEEE T-MM Associate Editor，IEEE ICME 2022和ACM MM Asia 2021技术委员会主席，以及国际顶级会议ACM MM、AAAl、ACL、CIKM等领域主席。并作为主席组织了14个国际Workshops、Tutorials、Special Sessions和Grand Challenges。
潘滢炜，HiDream.ai资深研究员。研究方向为多媒体内容理解和计算机视觉。在国际学术会议和期刊上已发表高水平学术论文50余篇，总引用量6100余次(h-index: 30)。成果多次成功转化到京东的产品中(如拍照购)，并在视觉内容分析和理解的国际学术竞赛中6次获得冠军。曾获微软学者奖学金(2015)、ACM SIGMM China最佳博士论文奖(2019)和新星奖(2022)、ACM Multimedia最佳开源项目奖(2021)、多媒体领域旗舰期刊(ACM TOMM)2022年度最佳论文奖、2022年度中国图像图形学学会科技进步奖一等奖。
