动手学深度学习之语言模型与数据集
语言模型可以用来评估文本序列是否合理，即计算该序列的概率：P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1,w2,...,wT)。其中基于统计的语言模型（马尔科夫链模型）被广泛应用于自然语言处理中。本文将简单介绍下马尔科夫链的理论以及输入数据集的形式。语言模型语言模型假设存在序列(w1,w2,...,wT)(w_1,w_2,...,w_T)(w1,w2...
