斯坦福CS224n课程笔记1-introduction and Word vectors 2019Human language and word meaningWord2vec introductionreference
Human language and word meaning语言是一个低带宽的信息传输方式,相比于5G,这决定了语言的熵会很高。How do we have usable meaning in a computer?one-hot的字词表示:词语维度是很高的,而且有很多衍生的词语,接近于无限的维度。词语之间没有相似度,即one-hot向量是正交的,相似词语和不相似词语之间都是正交关系...