我是靠谱客的博主 动听板凳,最近开发中收集的这篇文章主要介绍[2022]李宏毅深度学习与机器学习第十一讲(必修)-Domain Adaptation做笔记的目的Domain ShiftDomain Adaptation,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

[2022]李宏毅深度学习与机器学习第十一讲(必修)-Domain Adaptation

  • 做笔记的目的
  • Domain Shift
  • Domain Adaptation
    • Little but labeled
    • Large amount of unlabeled data
    • little and Unlabeled

做笔记的目的

1、监督自己把50多个小时的视频看下去,所以每看一部分内容做一下笔记,我认为这是比较有意义的一件事情。
2、路漫漫其修远兮,学习是不断重复和积累的过程。怕自己看完视频不及时做笔记,学习效果不好,因此想着做笔记,提高学习效果。
3、因为刚刚入门深度学习,听课的过程中,理解难免有偏差,也希望各位大佬指正。

Domain Shift

主要有以下三种可能:

  1. train和test的输入不一样
  2. train和test的输出不一样
  3. train和test的标签不一样
    这里主要放在第一种上面,这个也更加常见。
    在这里插入图片描述

Domain Adaptation

根据知道的target domain的信息多少策略不同。

Little but labeled

可以进行fine-tune,但是要防止Overfitting,所以不要跑太多的次数,可以设置小一点的学习率。
在这里插入图片描述

Large amount of unlabeled data

在目标数据集上有很多资料但是没有标签
在这里插入图片描述
找出Feature Extractor,source data 和target data 的分布差不多,要训练一个Domain分类器,想办法骗过Domain分类器,这个非常像是GAN。
在这里插入图片描述
在这里插入图片描述
可以看到下图,不会发生模型坍塌,因为Feature Extractor的损失是 L − L d L-L_d LLd.
在这里插入图片描述
这个方法是有用的如下图,括号里面是提高的精度。在这里插入图片描述
第二个方法明显更加好,我们应该让模型远离分界点
在这里插入图片描述
所以有论文进行了改进,让结果更加集中。
在这里插入图片描述

little and Unlabeled

没有标签同时资料很少,可用TTT的方法,其实我感觉像是zero-shot问题。
在这里插入图片描述

最后

以上就是动听板凳为你收集整理的[2022]李宏毅深度学习与机器学习第十一讲(必修)-Domain Adaptation做笔记的目的Domain ShiftDomain Adaptation的全部内容,希望文章能够帮你解决[2022]李宏毅深度学习与机器学习第十一讲(必修)-Domain Adaptation做笔记的目的Domain ShiftDomain Adaptation所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(43)

评论列表共有 0 条评论

立即
投稿
返回
顶部