什么是语义分割

任务： 将图像按照物体的类别分割成不同的区域

等价于： 对每个像素进行分类

应用方面：无人驾驶汽车、人像分割、智能遥感、医疗影像分析

区别：

• 语义分割：仅考虑像素的类别 不分割同一类的不同实体
• 实例分割：分割不同的实体 仅考虑前景物体
• 背景仅考虑类别 前景需要区分实体

语义分割的思路

按颜色分割

先验知识：物体内部颜色相近，物体交界颜色变化——先验知识不完全准确： 不同物体颜色可能相近，物体内也会包含多种颜色

逐像素分类

优势：可以充分利用已有的图像分类模型

问题：效率低下，重叠区域重复计算卷积

深度学习下的语义分割模型

全卷积网络（FCN）

FCN网络结构主要分为两个部分：全卷积部分和反卷积部分。其中全卷积部分为一些经典的CNN网络（如VGG，ResNet等），用于提取特征；反卷积部分则是通过上采样得到原尺寸的语义分割图像。FCN的输入可以为任意尺寸的彩色图像，输出与输入尺寸相同，通道数为n（目标类别数）+1（背景）。
————————————————
版权声明：本文为CSDN博主「晓野豬」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_41731861/article/details/120511148

如上，原文链接中的文章可以了解一些全卷积网络知识

上下文信息与PSPNet模型

由于可能出现歧义，所以要进行联系上下文。图像周围的内容（也称上下文）可以帮助我们做出更准确的判断。

方案：增加感受野更大的网络分支， 将上下文信息导入局部预测中

例子：PSPNet2016

• (a) 对特征图进行不同尺度的池化，得到不同尺度的上下文特征
• (b) 上下文特征经过通道压缩和空间上采样之后拼接回原特征图 → 同时包含局部和上下文特征
• © 基于融合的特征产生预测图

空洞卷积与DeepLab模型

DeepLab 是语义分割的又一系列工作，其主要贡献为：

• 使用空洞卷积解决网络中的下采样问题

• 使用条件随机场 CRF 作为后处理手段，精细化分割图

• 使用多尺度的空洞卷积（ASPP 模块）捕捉上下文信息 DeepLab v1 发表于 2014 年，后于 2016、2017、2018 年提出 v2、v3、v3+ 版本

使用空洞卷积（Dilated Convolution/Atrous Convolution）解决下采样问题，在不增加参数的情况下增大感受野。

PSPNet 使用不同尺度的池化来获取不同尺度的上下文信息 DeepLab v2 & v3 使用不同尺度的空洞卷积达到类似的效果。

分割模型的评估方法

评估指标与图像分类相近。

整理自openmmlab实战营课程

最后

以上就是犹豫大雁为你收集整理的（202302）OpenMMLab实战CV陆——语义分割算法简介什么是语义分割语义分割的思路深度学习下的语义分割模型分割模型的评估方法的全部内容，希望文章能够帮你解决（202302）OpenMMLab实战CV陆——语义分割算法简介什么是语义分割语义分割的思路深度学习下的语义分割模型分割模型的评估方法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。