词语表示

一种典型方法是符号表示法，$w_1{w}_2\cdots w_m$等等，等价的表示方法是one-hot表示法，此时有多少个词向量就有多少维，且没有办法表示词之间的相似性，基于连续语义空间的词语表示，向量维数和词的数量无关，是低维稠密的连续实数空间

神经网络语言模型

词向量：将每个词映射到实数向量空间中的点，设词表规模$V$，词向量维度$D$，look-up table是一个$D\times V$的矩阵，记为$L$，里面的每一列代表一个词，该矩阵右乘一个$V\times 1$的ont-hot向量取出特定的词对应的词向量，$L$的学习：通常先随机初始化，然后通过目标函数优化词的向量表达

前馈神经网络

参数$W,b$通过反向传播算法学习，首先：
$$h_{W,b}(x)=f(W^{T}x+b)$$
之后定义损失函数：
$$J(W,b;x,y)=\frac{1}{2}||h_{W,b}(x)-y|{|}^2$$
训练的样本为$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\}$，损失函数：
$$J(W,b)=[\frac{1}{m}\sum _{k=1}^{m}J(W,b;x^{(k)},y^{(k)}))]+\frac{\lambda }{2}\sum _{l=1}^{n_l-1}\sum _{j=1}^{s_l}\sum _{i=1}^{s_{l+1}}\left({W_{ij}^{(l)}}^2\right)$$
参数的学习中，首先forward计算每一层每个神经元的输出，之后计算输出层也就是最后一层的输出，之后反向计算每个神经元的梯度，最后计算权重和偏差的梯度，这样既可以完成参数的学习
前馈神经网络的语言模型总结如下：
以求$p(this|the,few,supporters,of)$的概率为例

• 输入$thefewsupportersof$
• 根据look-up table得到一个由每个词的列向量concatenate得到的的矩阵，$L:D\times V,T_w:V\times 4$，也就是得到一个$D\times 4$的矩阵，这个矩阵作为神经网络的输入
• 经过一个全连接层和一个Tanh激活层
• 再经过一个全连接层，输出变为$1\times V$
• 经过softmax层得到输出的概率

前馈神经网络语言模型存在的问题：仅对小窗口的历史信息建模，例如n-gram仅考虑前n-1个词的历史信息

循环神经网络语言模型

例如Bush held a talk with Salon这句话，在$t_1$时刻，输入是Bush对应的词向量$w_1=[0.2,0.2{]}^T$和$h_0=[0,0{]}^T$，输出的$h_1=U\cdot w_1+W\cdot h_0$，这个$h_1$和第二个词held对应的词向量$w_2$作为下一时刻$t_2$的输入，其中$U,W$是共享的参数，尺寸为$D\times D$，过程总结如下

• 输入：$t-1$时刻历史$h_{t-1}$与$t$时刻输入词语的词向量$w_t$
• 输出：$t$时刻历史$h_t$与$t+1$时刻词语的词向量$y_t$的概率，$y_t$由$h_t$得来，$y_t:V\times 1$尺寸

循环神经网络存在的问题是梯度消失和爆炸问题，参数$W$经过多次传递后，易发生梯度消失和爆炸，可以通过有选择的保留和遗忘，通过某种策略有选择的保留或遗忘$t$时刻的信息来解决LSTM

自注意机制语言模型

$$Attention(Q,K,V)=softmax\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

神经网络语言模型相关开源工具

• NNlm, 前馈神经网络语言模型(feed-forward n-gram neural language model), http://nlg.isi.edu/software/nplm/
• RNNlm, 循环神经网络语言模型(recurrent neural language model), http://rnnlm.org/;
• LSTMlm, LSTM语言模型(recurrent neural language model with LSTM unit), https://www-i6.informatik.rwth-aachen.de/web/Software/rwthlm.php
• 自我注意机制语言模型GPT(Language Model with Generative Pre-training)， https://github.com/openai/gpt-2
• LSTM反向传播算法，http://arunmallya.github.io/writeups/nn/lstm/index.html#/
• Google Word2Vec, http://code.google.com/p/word2vec/

最后

以上就是坦率含羞草为你收集整理的自然语言处理学习笔记-lecture5-语言模型03词语表示神经网络语言模型神经网络语言模型相关开源工具的全部内容，希望文章能够帮你解决自然语言处理学习笔记-lecture5-语言模型03词语表示神经网络语言模型神经网络语言模型相关开源工具所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。