近日,国际计算机学术刊物《IEEE Transactions on Pattern Analysis and Machine Intelligence》(IEEE T-PAMI)在线发表了软件学院硕士生张飚与其导师苏劲松副教授(通讯作者),天津大学熊德意教授合作完成的最新研究成果“Neural Machine Translation with Deep Attention”。IEEE T-PAMI是计算机科学领域的权威国际期刊,其影响因子为 9.455。

论文提出一种深层的注意机制,用于融合深层编码器和深层解码器之间的语义信息,从而进一步增强翻译系统建模源语言和目标语言之间翻译关系的能力。传统深层神经机器翻译模型主要关注如何深化编码器或解码器的结构,忽略了注意机制的深层化建模,不利于复杂翻译关系的处理。该论文提出的模型可以利用低层注意机制学习到的上下文信息,自动地判定如何从相应的编码层中提取、过滤源端语义信息并融入到相应的解码层之中,从而使高层注意机制拥有更充分的信息来建模深层次的翻译关系,并促使模型的隐层表示更适合目标词汇的预测。在中英、英德和英法三个翻译任务上,新模型取得了近乎最先进的翻译结果。
该项研究得到了国家自然科学基金(Nos. 61672440, 61622209)、中央高校基础科研基金(No. ZK1024)、国家语委科研项目(No. YB13549),百度奖学金等的资助。