【论文研读】Self-supervised：AMDIM， DIM

186 阅读 0 评论 123 点赞

我是靠谱客的博主忧伤野狼，这篇文章主要介绍【论文研读】Self-supervised：AMDIM， DIM，现在分享给大家，希望可以做个参考。

Title：Learning deep representations by mutual information estimation and maximization（2019ICLR）

Author：R Devon Hjelm（MSR Montreal）

Method：

主要使用最大化互信息的思想，同一张图的局部特征和全局特征应高度相关，另一张的局部特征不相关。采用NCEloss得到score

实际操作中的两种方法：

Title：Learning Representations by Maximizing Mutual Information Across Views（2019Nips）

Author：Philip Bachman（Microsoft Research）

Method：

我的理解是在DeepInfoMAX的基础上加了一个multi-scale，即不同尺度上的feature也可以组成正负pair。

目前看来这两种自监督方法的效果超过了其他方法：

数据来源：A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification

以上就是忧伤野狼最近收集整理的关于【论文研读】Self-supervised：AMDIM， DIM的全部内容，更多相关【论文研读】Self-supervised：AMDIM，内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。