近日，我中心自然语言处理研究组一篇论文被Journal of Artificial Intelligence Research （JAIR）期刊录用。JAIR是人工智能领域的重要期刊，在中国计算机学会（CCF）会议推荐列表中认定为B类刊物。录用文章题目为 AAN+: Generalized Average Attention Network，由爱丁堡大学张飚博士，天津大学熊德意教授，伊利诺伊大学厄巴纳-香槟分校葛毓彬博士，我中心姚俊峰教授，硕士研究生岳皓，苏劲松教授合作完成。
本论文针对Transformer解码效率低的问题，提出增强版的广义平均注意网络（AAN+），在几乎不损失任务性能的情况下可以显著提升模型的解码效率。如何提升Transformer的解码效率是困扰众多科研人员的难题之一。本文研究发现Transformer的解码效率严重受制于其解码器的自我注意网络，深入分析该网络后发现其注意力权重体现出几种不同的模式。基于此，本文设计了广义平均注意机制，通过不同的模式函数硬编码自我注意网络中的知识，并借助动态规划算法将解码器的依存复杂度从O(n)降至O(1)，在三种不同的生成任务上均取得了不错的实验效果。
