概述
1.经典之paper,虽然之前一直有了解,但是未及细读,现在终于有时间好好研究一下了。
2.首先是一个概率模型:
3.然后是两个假设条件:First, it is not taking into account contexts farther than 1 or 2 words,1 second it is not taking into account the “similarity” between words.
所以模型:
4.具体模型
4.1输入层(第一层):一个C映射,
wi
的维度是1xV,C的维度是Vxm,所以1xVxVxm=1xm;第二层tanh函数进行计算,在最后的实验中,Bengio 发现直连边虽然不能提升模型效果,但是可以少一半的迭代次数。同时他也猜想如果没有直连边,可能可以生成更好的词向量;输出层:softmax函数。
4.2目标函数
每一层的参数,和维度
最终训练的C就是我们需要的词向量
5.伪代码
6.训练的时候要找一个好点的语料库,因为自己的文本词频一般都不够。
最后
以上就是彩色超短裙为你收集整理的A Neural Probabilistic Language Model笔记的全部内容,希望文章能够帮你解决A Neural Probabilistic Language Model笔记所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复