8.A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect T论文阅读笔记

论文下载地址：https://arxiv.org/pdf/1912.07976.pdf

《A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect Term Extraction》

模型名称：LCF-ATEPC
标签：BIO

• 一、科学问题：

在以往的研究中，主要关注的APC的精度，而忽略了对于ATE的研究，因此，在基于方面的情感分析进行迁移学习时，往往会因为缺少aspect term提取方法而陷入困境。因此，为了有效的从文本中提取aspect，同时分析情感极性，提出了一种基于方面情绪分析的多任务多语言学习模型（LCF-ATEPC）。该模型基于Multi-head self-attention，集成预训练的bert和局部上下文焦点机制（LCF）。

通过对少量带有aspect和aspect极性的数据进行训练，该模型可以适应于大规模的数据集，可以自动提取各方面信息，预测情绪极值。通过这种方法，模型可以发现未知的方面，避免了手工注释所有方面和极性的繁琐和巨大的成本。基于领域特定方面的情绪分析具有重要意义。

• 二、针对问题的方法设计动机：

1.该模型不仅适用于中文数据集，也适用于英文数据集，中英文都可以使用本文提出的模型
2.本文可以实现ATE和APC联合抽取，也可以实现ATE和APC的分别抽取
3.在七个数据集上（四个中文：Car,Phone,Notebook,Camera.以及三个英文：Lap-14,Restaurant-14, Twitter）取得了SOTA

• 三、方法架构：

该模型将ATE和APC任务相结合，采用两个独立的BERT层分别对全局上下文和局部上下文进行建模。为了同时进行多任务训练，输入序列被标记成不同的标记，每个单词（token）有两种不同的label：第一种标签指示令牌是否是方面词，第二种标签标记方面词的情感极性。

在上图中，左边是局部上下文特征生成器（LCFG:Local context feature generator），右边是全局上下文特征生成器（GCFG:global context feature generator）。两个特征生成单元主要包含一个独立的预训练bert层，分别是 BERTl 和 BERTg 。

(1)LCFG通过 local context focus layer 和一个MHSA（Multi-head self-attention） 提取局部上下文特征。The LCFG unit extracts the features of the local context by a local context focus layer and a MHSA encoder.

(2)GCFG只部署了一个MHSA来学习全局上下文特征。The GCFG unit deploys only one MHSA encoder to learn the global context feature.

(3)特征交互学习层（The feature interactive learning 简称FIL）：结合局部上下文特征和全局上下文特征之间的交互学习，预测aspect的情感极性。

(4)并且基于全局上下文特征（GCFG部分）提取aspect。

• 四、核心模型的解释文字：

1 Local Context Focus

1.1 语义相对距离（Semantic-relative Distance :SRD）
局部上下文的确定依赖于语义相对距离，SRD用来判断上下文是否属于目标方面的局部上下文，以帮助模型捕捉局部上下文。局部上下文是一个新的概念，可以适应大多数细粒度的NLP任务。
SRD 是基于token-aspect对的概念，描述token与aspect之间的距离，就是token与aspect之间隔了几个token，作为所有token-aspect对的SRD，计算过程如下：

i 是特定令牌的位置，Pa 是aspect的中心位置，m 是目标aspect的长度，所以SRD表示第i个令牌和目标方面之间的距离。
通过MHSA编码器计算出所有令牌的输出后，除了与目标相关的局部上下文之外，其他的未知的输出特征都将被屏蔽（CDM）或者衰减（CDW）。

1.2 上下文特征动态掩码（CDM）
除了局部上下文特征，CDM将屏蔽 BERTl 层学习到的非局部上下文特征。
CDM的实施，将非局部上下文的所有位置的特征设置为零向量。为了避免CDM操作后特征分布的不均衡性，利用MHSA编码器学习并重新平衡被屏蔽的局部上下文特征。
假设Obert是BERTl的初始输出特征，那我们可以得到如下的局部上下文特征。

1.33.4.3 上下文特征动态加权（CDW）
CDM层完全放弃了非局部上下文特征，与CDM层相比，CDW采用了一种更加温和的策略，对目标aspect的非局部上下文特征根据SRD进行加权衰减。局部上下文特征保持不变。

设置权重，对非局部上下文的token设置一个很小的权重，降低影响力

• 五、实验性能（重点有趣且对应于动机的实验，以及与SOTA技术比较的性能表格）

1.七个实验数据集：

2.实验结果：
（1）在中文数据集上的表现：

（2）在英文数据集上的表现：

（3）在混合模型上的表现：

备注：本文提出的模型可以将ATE和APC联合一次性抽取(LCF_ATEPC)，也可分别抽取ATE或APC

最后

以上就是外向台灯为你收集整理的8.A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect T论文阅读笔记的全部内容，希望文章能够帮你解决8.A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect T论文阅读笔记所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。