我是靠谱客的博主 大气豌豆,这篇文章主要介绍学习笔记——A Neural Probabilistic Language Model背景核心内容,现在分享给大家,希望可以做个参考。

仅作个人学习记录。

背景

该论文提出了NNLM模型,即Nerual Network Language Model,开创了用神经网络解决网络模型的先河。
第一作者Bengio先生在深度学习方面有极深的造诣,被认为深度学习“三巨头”之一。

核心内容

  1. 为解决维数灾难问题,使用词的分布式表示,允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息。
  2. 采用神经网络而不是n-gram解决语言模型问题,可以更好利用上下文。
  3. NNLM计算量比n-gram大,但是解决了n-gram参数随单词表大小呈指数倍增长的问题。

最后

以上就是大气豌豆最近收集整理的关于学习笔记——A Neural Probabilistic Language Model背景核心内容的全部内容,更多相关学习笔记——A内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(115)

评论列表共有 0 条评论

立即
投稿
返回
顶部