概述
动机:
Temporal Contrastive Learning (TCL) (TASK-动作识别)
在这篇论文中,作者主要关注于视频中的“时间”这个监督信号,基于此提出了一个不同速度的时间通道对比模型,最小化不同速度的相同视频之间的相似度,最大化不同速度以及不同视频之间的相似度,由于instance-contrastive loss存在将相同类别的视频推远的缺点,作者提出了group-contrastive loss,将同一类别的识别归纳到同一个group中,并用group中的所有特征的平均值来表示该group,在group-level上计算对比损失
这篇论文在使用很少标签的基础上,取得很好的性能,并在域外的数据集上也证明了有较好的泛化性
如图2所示,该模型包含两个不同速度的时间通道,分别为base和auxiliary,base相比auxiliary有更多的视频帧
backbone首先在少量的labeled data上进行训练来进行初始化,使用cross-entropy loss
Instance-Contrastive Loss
在无标签数据上对不同速度的特征保持时间一致性来作为代理任务并使用pair wise contrastive loss
Group-Contrastive Loss
将有相同伪标签的视频分为同一个group
有相同label的不同速度的group应该保持high class consistency,作者提出了group-contrastive loss
Experiment
Ablation
最后
以上就是动人冬瓜为你收集整理的论文阅读(21CVPR):Semi-Supervised Action Recognition with Temporal Contrastive Learning动机:Instance-Contrastive LossGroup-Contrastive LossExperimentAblation的全部内容,希望文章能够帮你解决论文阅读(21CVPR):Semi-Supervised Action Recognition with Temporal Contrastive Learning动机:Instance-Contrastive LossGroup-Contrastive LossExperimentAblation所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复