2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一、生成模型上的半监督学习二、Low-density Separation非黑即白三、 Smoothness Assumption平滑假设四、Better Representation总结

54 阅读 0 评论 36 点赞

我是靠谱客的博主失眠紫菜，最近开发中收集的这篇文章主要介绍2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一、生成模型上的半监督学习二、Low-density Separation非黑即白三、 Smoothness Assumption平滑假设四、Better Representation总结，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

2021李宏毅机器学习笔记--10 Semi-supervised learning

摘要
一、生成模型上的半监督学习
二、Low-density Separation非黑即白
- 2.1 自学习
- 2.2 熵正则化
- 2.3 半监督SVM
三、 Smoothness Assumption平滑假设
四、Better Representation
总结

摘要

半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往伴随一些假设，学习有没有用还要看假设是否合理。

一、生成模型上的半监督学习

先看一个生成模型，我们根据先验概率 P(Ci)和不同的均值 μ和协方差矩阵 ∑去找到共享协方差矩阵的不同均值的高斯模型P(x∣Ci)，从而可以求出分类的概率P(x∣Ci)，如下图：
在这里插入图片描述

如果现在有一堆没有标签的样本绿色，分布如下面，这样我们的高斯模型就要调整了，因此相关的参数也要调整：
在这里插入图片描述

或许高斯分布应该是这样的，即我们的未标签的数据会重新去估计相应的参数，重新构建高斯模型：
在这里插入图片描述

首先先初始化参数，然后我们取未标签数据的后验概率，然后我们要进行模型的更新， N1是属于C1的样本的总个数，N是所有样本的总个数，包括有标签和没标签的。
本来我们的先验概率就是 P ( C 1 ) ，但是现在有了未被标签的数据，如果我们知道他们是C1的概率，就是第一步计算的 P(C1|x^u) ，我们就可以把他们累加起来，把概率加起来其实就是他们是C1的个数，所以这样先验概率P(C1)更新了。参数 μ也是同样的道理，加了未标签的那部分，其他的参数也用类似的方法算出来，更新完了，然后继续回到第一步去更新概率，反复循环，最后会收敛。