【论文研读】Self-supervised：AMDIM， DIM

69 阅读 0 评论 46 点赞

我是靠谱客的博主忧伤野狼，最近开发中收集的这篇文章主要介绍【论文研读】Self-supervised：AMDIM， DIM，觉得挺不错的，现在分享给大家，希望可以做个参考。

Title：Learning deep representations by mutual information estimation and maximization（2019ICLR）

Author：R Devon Hjelm（MSR Montreal）

Method：

主要使用最大化互信息的思想，同一张图的局部特征和全局特征应高度相关，另一张的局部特征不相关。采用NCEloss得到score

实际操作中的两种方法：

Title：Learning Representations by Maximizing Mutual Information Across Views（2019Nips）

Author：Philip Bachman（Microsoft Research）

Method：

我的理解是在DeepInfoMAX的基础上加了一个multi-scale，即不同尺度上的feature也可以组成正负pair。

目前看来这两种自监督方法的效果超过了其他方法：

数据来源：A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification

以上就是忧伤野狼为你收集整理的【论文研读】Self-supervised：AMDIM， DIM的全部内容，希望文章能够帮你解决【论文研读】Self-supervised：AMDIM， DIM所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。