语言模型(预训练与词向量)第二篇-NNLM(Nerual Network Language Model)1. 概述2. 神经语言模型
1. 概述NNLM神经语言模型参考论文A Neural Probabilistic Language Model。语言模型的一大问题是维数灾难,为解决这个问题,该篇论文采用神经语言模型,且该文采用矩阵的形式,其中小写的v表示列向量,v′v^{'}v′表示其转置。AjA_jAj表示矩阵的第j行。x⋅y=x′yx·y=x^{'}yx⋅y=x′y1. 概述2. 神经语言模型2.1 神经语言模型基本理论2.2 疑问2.3 疑问更新