动手学深度学习之机器翻译和数据集机器翻译和数据集Encoder-DecoderSequence to Sequence模型DecoderBeam Search

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记
原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/MZn2AdNyGzumTprVPwV3y
感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！
总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础知识的介绍，因此很适合本人这种基础较差的同学学习，建议基础较差的同学可以关注伯禹的其他课程：
数学基础：https://www.boyuai.com/elites/course/D91JM0bv72Zop1D3
机器学习基础：https://www.boyuai.com/elites/course/5ICEBwpbHVwwnK3C

机器翻译和数据集

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。
主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

数据预处理

将数据集清洗、转化为神经网络的输入minbatch
字符在计算机里是以编码的形式存在，我们通常所用的空格是 x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。
而 xa0 属于 latin1 （ISO/IEC_8859-1）中的扩展字符集字符，代表不间断空白符nbsp(non-breaking space)，超出gbk编码范围，是需要去除的特殊字符。再数据预处理的过程中，我们首先需要对数据进行清洗。

分词

字符串—单词组成的列表

建立词典

单词组成的列表—单词id组成的列表

载入数据集

每次都要把句子的每个词补到相同长度。
数据生成器的好处是每次只会生成一组。

Encoder-Decoder

encoder：输入到隐藏状态
decoder：隐藏状态到输出

Sequence to Sequence模型

模型：

训练

预测

具体结构：

Encoder

Decoder

损失函数

Beam Search

简单greedy search：

维特比算法：选择整体分数最高的句子（搜索空间太大）
集束搜索：

最后

以上就是失眠薯片为你收集整理的动手学深度学习之机器翻译和数据集机器翻译和数据集Encoder-DecoderSequence to Sequence模型DecoderBeam Search的全部内容，希望文章能够帮你解决动手学深度学习之机器翻译和数据集机器翻译和数据集Encoder-DecoderSequence to Sequence模型DecoderBeam Search所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。