矮小发夹

文章
7
资源
0
加入时间
3年2月3天

NLP12:预训练模型之ELMO1.简介2.ELMO的显著特征3.双向语言模型4.ELMO5. ELMO训练好的向量如何使用6.ELMO的缺点

公众号:数据挖掘与机器学习笔记1.简介ELMO是一种深层的上下文单词表示模型,它可以同时建模:(1) 单词使用的复杂特征(例如语法和语义),也就是能够学习到词汇用法的复杂性(2)这些用法如何在语言上下文之间变化(即建模多义性)词向量是深度双向语言模型(deep bidirectional language model,BILM)内部状态的可学习函数,这些双向语言模型在大型文本语料库上进行了预训练。可以将这些预训练的词向量添加到现有模型中,能够显著改善NLP问题(问答、文本蕴含、情感分析等)的解决