《论文阅读》DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition
本文介绍了作者在预训练语言模型的对话 (ERC) 中进行情感识别的开创性工作。与常规文档不同,会话语句来自不同对话方的交替出现,并且在之前的工作中常用层次结构构建模型。这种结构不利于应用预训练的语言模型,如 XLNet。为了解决这个问题,我们提出了一个多合一的 XLNet 模型,即 DialogXL,具有存储更长的历史上下文的增强记忆模块来和处理多方结构的对话感知的自注意力。具体来说,我们首先将 XLNet 的递归机制从段级修改为话语级,以便更好地对会话数据进行建模。