【预训练语言模型】Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文分享一个对Transformer进行改进的模型Transformer-XL，其认为原始的Transformer在处理超过预定长度的文本采用分段（chunk）策略，但各个片段（segment）独立地
