文本生成(一)---Seq2Seq理论笔记
文本生成 (一) --- Seq2Seq结构训练解码历史杂记:参考结构1.seq2seq结构,又称encoder-decoder结构。训练2.根据标准答案来decode的方式为「teacher forcing」,而根据上一步的输出作为下一步输入的decode方式为「free running」。3.teacher forcing,这种操作的目的就是为了使得训练过程更容易。4.「计划采样」(scheduled sampling),我们设置一个概率p,每一步,以概率p靠自己上一步的输入来预测,