人工智能学院举办自然语言处理与社会计算系列讲座——低资源神经机器翻译

  • 文/何梓科 图/何梓科 郑博匀
  • 创建时间: 2022-04-15
  • 2990

  2022年3月22日,天气晴朗的雁栖湖校区迎来了微软亚研院高级研究员刘树杰老师,本次他为大家作了题为低资源神经机器翻译的讲座。

115355 627350 1

刘树杰老师开始进行讲座

  讲座开篇,刘老师首先简要介绍了机器翻译的研究范畴,即机器翻译式是计算语言学的一个子领域,研究者们使用软件将文本或语音从一种语言翻译到另一种语言。机器翻译从1946年沃伦.韦弗首次提出将文本从一种语言翻译成另一种语言的想法开始逐渐起步,1954年IBM公司开发出一种基于语言对照模板(template)的机器翻译方法,代表着机器翻译的工作正式起步,之后的1976年基于规则的机器翻译方法再次激起研究热潮,2006、2007年,谷歌和微软的翻译器相继面世,在2014年,神经机器翻译出现,借助基于巨大的语料库训练的神经网络,机器翻译的表现不断攀升,实用化程度越来越高。

  接下来刘老师具体举例说明,为大家建立起了神经机器翻译实现过程的具体印象。以ICLR2015中的机器翻译模型为例,刘老师点出编码器中通过调整顺序兼顾初始句子中各个单词的上下文意群;接下来刘老师提到了2017年发表于NeurlPS的著名文章Attention is all you need,为大家讲解All Attention变式神经网络如何解决远距离依赖问题。在本部分的讲解中刘老师自豪地提到,目前的神经机器翻译,在特定领域表现得比人还要好。

115355 322944 2

刘树杰老师在介绍机器翻译的评价机制

  前面提到的神经机器翻译模型训练,都依赖于规模庞大的双语数据,那么遇到小语种,即当源语言和目标语言之间双语数据较少的情况时,该如何解决呢?带着这样的疑问,刘老师为大家讲解了低资源神经机器翻译的实现方式。在本部分,刘老师首先讲解了在少量双语数据和大量单语数据条件下训练神经网络的方法,即利用双语数据训练源语言和目标语言两个方向翻译的两个模型,然后利用训练好的单向模型和单语数据生成伪双语数据训练另一个单向翻译模型。在机器翻译研究过程中,大家发现,从左到右或从右到左翻译句子,总有一头翻译效果很差,后来大家发现了解决方法:同时建立从右到左和从左到右模型,互相给对方的翻译句子打分,进一步训练两个方向的模型。那么开头提到的小语种训练如何解决呢?刘老师进一步解说,这种问题的解决方案很巧妙:利用已有的另外大量双语数据,以及少量双语与小语种之间的翻译数据,进行以小语种为目标语言的神经机器翻译训练。

115355 442164 3

刘树杰老师在介绍无监督神经机器翻译模型

  刘老师讲解的最后一部分是无监督神经机器翻译的相关内容。结合着无监督神经机器翻译领域的发展现状,刘老师按照双语词典引入、模型初始化、模型迭代更新这三个无监督神经机器翻译模型构架部分,结合具体实例为大家作了详细的讲解。讲座最后刘老师热心回答了同学们针对机器翻译领域的提问,本场在大家掌声中圆满结束。

115355 873775 4

同学们在认真听讲