PyTorch中的反卷积（Transposed Convolution）PyTorch中的反卷积（Transposed Convolution）

62 阅读 0 评论 41 点赞

我是靠谱客的博主包容路灯，最近开发中收集的这篇文章主要介绍PyTorch中的反卷积（Transposed Convolution）PyTorch中的反卷积（Transposed Convolution），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

PyTorch中的反卷积（Transposed Convolution）

反卷积是计算机视觉领域中的一种上采样的方法，除了反卷积以外，还可以采用unpooling和bilinear interpolation方法做上采样。反卷积并不是卷积操作的逆过程。通过反卷积，只能恢复原矩阵的大小，但并不能完全恢复原矩阵的数值。

Output计算公式

在pytorch中，反卷积的函数为ConvTranspose. 因为最近需要用到一维的反卷积，所以下面以一维的反卷积操作为例。计算反卷积output shape的公式如下：
$Input: (N, C_{in}, L_{in}) \ Output:(N, C_{out}, L_{out}) \ L_{out} =(L_{in}−1)×stride−2×padding+dilation×(kernel_size−1)+output_padding+1$

N: batch number
C: Channel
L: 一维数据的维度

下面这段代码的kernel是[1, 2, 3]

input = torch.ones(1, 1, 4) # input [[[1, 1, 1, 1]]]
t_conv = nn.ConvTranspose1d(
	in_channels=1, 
	out_channels=1, 
	stride=1, 
	kernel_size=3, 
	padding=0, 
	output_padding=0,
	dilation=1, 
	padding_mode="zeros", 
	bias=False
)
t_conv.weight.data = torch.tensor(data=[[[1, 2, 3]]], dtype=torch.float)
print(t_conv(input)) # output [[[1, 3, 6, 6, 5, 3]]]

in_channels，out_channels，output_padding, kernel_size相对好理解。ConvTranspose1d目前只支持“zeros”这一种padding模式。

反卷积的stride

首先来看一下stride，反卷积中的stride与卷积操中的stride是类似的，可以简单理解为kernel滑动的步长，可以先看一下snippet code：

input = torch.ones(1, 1, 4) # input [[[1, 1, 1, 1]]]
t_conv = nn.ConvTranspose1d(
	in_channels=1, 
	out_channels=1, 
	stride=2, 
	kernel_size=3, 
	padding=0, 
	output_padding=0,
	dilation=1, 
	padding_mode="zeros", 
	bias=False
)
t_conv.weight.data = torch.tensor(data=[[[1, 2, 3]]], dtype=torch.float)
print(t_conv(input)) # output [[[1., 2., 4., 2., 4., 2., 4., 2., 3.]]]

当stride设置为2时，根据公式 $o = s \times (i - 1) + d \times (k - 1) + 1$ 我们可以计算出此时的output维度是9，那么这个结果是怎么得到的呢。请看下图：
在这里插入图片描述
通过图片就可以很清楚的看到，stride变为2时，kernel滑动的步长增加了一位。

反卷积的dilation

反卷积的dilation也和卷积操作中的dilation类似，指出了kernel间隔的距离。我们还是先看一下snippet code：

input = torch.ones(1, 1, 4) # input [[[1, 1, 1, 1]]]
t_conv = nn.ConvTranspose1d(
	in_channels=1, 
	out_channels=1, 
	stride=1, 
	kernel_size=3, 
	padding=0, 
	output_padding=0,
	dilation=2, 
	padding_mode="zeros", 
	bias=False
)
t_conv.weight.data = torch.tensor(data=[[[1, 2, 3]]], dtype=torch.float)
print(t_conv(input)) # output[[[1., 1., 3., 3., 5., 5., 3., 3.]]]

然后再根据图解就能很好的理解这个结果是怎么得到的了：
在这里插入图片描述

反卷积的padding

padding和卷积操作的padding就有些不同了，反卷积的padding加在input上，但在结果中却要将padding去掉，我们直接看一下python运行的结果：

input = torch.ones(1, 1, 4) # input [[[1, 1, 1, 1]]]
t_conv = nn.ConvTranspose1d(
	in_channels=1, 
	out_channels=1, 
	stride=1, 
	kernel_size=3, 
	padding=1, 
	output_padding=0,
	dilation=1, 
	padding_mode="zeros", 
	bias=False
)
t_conv.weight.data = torch.tensor(data=[[[1, 2, 3]]], dtype=torch.float)
print(t_conv(input)) # output[[[3., 6., 6., 5.]]]