transformer中patch与token？

221 阅读 0 评论 146 点赞

我是靠谱客的博主简单黑猫，这篇文章主要介绍transformer中patch与token？，现在分享给大家，希望可以做个参考。

在文章以及代码中经常会出现patch与token，那么他们之间的关系到底是什么呢？

token包含：class token、patch token，在NLP叫每一个单词为token，然后有一个标注句子语义的标注是CLS，在CV中就是把图像切割成不重叠的patch序列（其实就是token）

通过上图我们看到，embedding后，有三个token，分别是class token，patch token，distillation token，其中 distillation token我们不需要关注，因为这个是DeiT中的创新

class token其实就是：【Transformer】CLS（classification）有什么用？_马鹏森的博客-CSDN博客

patch token 就是：transform中的token理解（单词或词语的标记）_马鹏森的博客-CSDN博客_transformer中的token（）

以上就是简单黑猫最近收集整理的关于transformer中patch与token？的全部内容，更多相关transformer中patch与token内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。