闪闪台灯

文章
4
资源
0
加入时间
2年10月17天

《Attention Is All You Need》(Transformer)论文阅读Transformer 论文阅读

2017年,Vaswani 等人在 NLP 领域顶级会议上发表了论文《Attention Is All You Need》,提出了 NLP 历史上里程碑的模型——Transformer。Transformer 创造性地抛弃了经典的 CNN、RNN 结构,仅使用 attention 机制和全连接网络搭建,在序列到序列(Seq2Seq)任务上取得了良好效果。自 Transformer 始,attention 机制取代了 RNN 的主流地位。本文阅读并总结了该经典论文,并详细介绍了 Transform