参考一个很全的总结:预训练语言模型的前世今生 - 从Word Embedding到BERT这儿对预训练模型又有了一点理解,也是之前在做VGG实验时在困惑的点,预训练模型在使用时可以有两种做法:一种是Frozen,将参数锁住,在下游应用时不再改变;另一种就是Fine-Tuning,即将参数初始化为预训练模型的参数,下游应用时仍然可以改变。好了进入正题:RNNRNN结构最大的特点就是融入了时序信息,其结构如下图所示:左侧部分称为RNN的一个timestep,对于每一个时刻 ttt ,输入的 xtx
lstm
2023-09-10
55 点赞
0 评论
83 浏览