人工智能学院举办“多模态情感计算的问题与挑战”科学前沿讲座

  • 文/图 霍子欣
  • 创建时间: 2022-10-19
  • 1939

  10月18日上午,中国科学院大学人工智能学院有幸邀请到了中科院自动化所模式识别国家重点实验室副主任,中科院特聘研究员、国家杰出青年基金获得者陶建华教授,在雁栖湖校区教一楼109教室为同学们带来科学前沿讲座——《多模态情感计算的问题与挑战》。

171933 620023 1

  首先陶建华老师从情感认知机理方面开始分析,通过抑郁症、孤独老人与留守儿童的情感缺失、国防安全领域士兵情绪筛查、智能客服测谎等社会问题方面引入,阐述情感计算的重要性。并且结合了自己在情感计算方面丰富的经历生动地讲解了多模态情感计算的发展史。

171933 891042 2

  紧接着,陶建华老师通过蛇与人类情感的小例子说明情感计算的研究过程,讲述LeDoux等理论背后的原理,为同学们搭建情感计算研究的逻辑框架。另外陶建华老师还介绍了多媒体计算在情感计算中的应用:人在相互交流的过程中需要综合人脸表情、语音语气等表现来进行的。因此实现多通道的人机界面,才是人与计算机最为自然的交互方式,它集自然语言、语音、唇读、头势、体势、手语、人脸等多种交流通道为一体,并对这些通道信息进行编码、压缩、集成和融合。目前,多模态技术本身也正在成为人机交互的研究热点,而情感计算融合多模态处理技术,则可以实现情感的多特征融合,能够有力地提高情感计算的研究深度,并促使出现高质量、更和谐的人机交互系统。

171933 851990 3

  在让同学们对多模态情感计算有了一定的知识储备之后,陶建华老师介绍了多模态情感计算在融合注意力机制的多媒体抑郁线索分析、谎言分析、自然情感识别数据库、情感交互、言语置信度分析等多方面的应用实例,激发了同学们从事此方面研究的兴趣。

171933 904461 4

  最后,陶建华老师对多模态情感计算做出了对未来的展望。而这个讲座也激起了同学们对多媒体计算的兴趣以及热情的讨论。

171933 315343 5

  更多专家信息:

  陶建华,博士,研究员,博士生导师,中科院自动化所模式识别国家重点实验室副主任,中科院特聘研究员、国家杰出青年基金获得者、国家万人计划科技领军人才,中科院脑科学与智能技术卓越创新中心核心骨干。中国计算机学会会士和常务理事,中国人工智能学会常务理事,中国中文信息学会理事, Steering Committee Member of IEEE Trans. On Affective Computing,以及Journal on Multimodal User Interfaces, Speech Communication等期刊编委。主要研究方向为人机交互、情感计算、大数据分析等,在主要国际期刊或会议上发表论文300余篇。承担国家重点研发计划(担任首席科学家)、863重点(担任首席科学家)、国家自然科学基金重点、国家发改委等项目30余项。