论文笔记 | Transformer-XL:Attentive Language Models Beyond a Fixed-Length Context一、Transformer二、vanilla Transformer三、Transformer-XL四、实验分析五、总结
作者:韩单位:燕山大学论文地址:https://arxiv.org/pdf/1901.02860.pdf代码地址:https://github.com/kimiyoung/transformer-xl目录一、Transformer二、vanilla Transformer三、Transformer-XL3.1 片段级递归机制3.2 相对位置编码机制四、实验分析五、总结一、Transformer 目前在NLP领域中,处理语言建模问题最先进的基础架构即Transformer。2017年6月,.