transformer中patch与token？

84 阅读 0 评论 56 点赞

我是靠谱客的博主简单黑猫，最近开发中收集的这篇文章主要介绍transformer中patch与token？，觉得挺不错的，现在分享给大家，希望可以做个参考。

在文章以及代码中经常会出现patch与token，那么他们之间的关系到底是什么呢？

token包含：class token、patch token，在NLP叫每一个单词为token，然后有一个标注句子语义的标注是CLS，在CV中就是把图像切割成不重叠的patch序列（其实就是token）

通过上图我们看到，embedding后，有三个token，分别是class token，patch token，distillation token，其中 distillation token我们不需要关注，因为这个是DeiT中的创新

class token其实就是：【Transformer】CLS（classification）有什么用？_马鹏森的博客-CSDN博客

patch token 就是：transform中的token理解（单词或词语的标记）_马鹏森的博客-CSDN博客_transformer中的token（）

以上就是简单黑猫为你收集整理的transformer中patch与token？的全部内容，希望文章能够帮你解决transformer中patch与token？所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。