深入理解深度学习——预训练模型
近些年基于深度学习的NLP技术的重大进展主要包括NNLM(2003)、Word Embedding(2013)、Seq2Seq(2014)、Attention(2015)、Transformer(2017)、GPT(2018)、BERT(2018)、XLNet(2019)、GPT-2(2019)、GPT-3(2020)等，主要预训练模型的大致发展脉络见下图：各种主要预训练模型的特征、抽取特征方法、使用语言模型类别等内容：模型语言模型特征提取上下文创新点ELMOLMBi-L
