Coord.Attention 协调注意力机制

65 阅读 0 评论 43 点赞

我是靠谱客的博主还单身冷风，最近开发中收集的这篇文章主要介绍Coord.Attention 协调注意力机制，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

此为我对于协调注意力机制的一些理解，paper来源于2021年CVPR

import torch
import torch.nn as nn
#---------------------------------------------------#
#CA模块这个类的定义
#其参数共有三个分别为特征图像的高、宽以及通道数
#在经过CA模块的前后，特征图像的通道数并不会发生变化
#使用池化不会造成数据矩阵深度的改变，只会在高度和宽带上降低，达到降维的目的
#---------------------------------------------------#
class CA_Block(nn.Module):
    def __init__(self, channels, h, w, reduction=16):
        super(CA_Block, self).__init__()

        self.h = h
        self.w = w
        self.avg_pool_x = nn.AdaptiveAvgPool2d((h, 1))    #在x轴进行平均池化操作，x轴即为水平方向w，进而使w的值变为1
        self.avg_pool_y = nn.AdaptiveAvgPool2d((1, w))    #在y轴进行平均池化操作，y轴为垂直方向h，进而使h的值变为1
        self.conv_1x1 = nn.Conv2d(in_channels=channels, out_channels=channels // reduction, kernel_size=1, stride=1,
                                  bias=False)                         #图中的r即为reduction，进而使其输出的特征图像的通道数变为原先的1/16

        self.relu = nn.ReLU()    #relu激活函数
        self.bn = nn.BatchNorm2d(channels // reduction)   #二维的正则化操作

        self.F_h = nn.Conv2d(in_channels=channels // reduction, out_channels=channels, kernel_size=1, stride=1,
                             bias=False)              #将垂直方向上的通道数通过卷积来将其复原
        self.F_w = nn.Conv2d(in_channels=channels // reduction, out_channels=channels, kernel_size=1, stride=1,
                             bias=False)              #将水平方向上的通道数通过卷积来将其复原

        self.sigmoid_h = nn.Sigmoid()          #定义的sigmoid方法
        self.sigmoid_w = nn.Sigmoid()

    def forward(self, x):
        x_h = self.avg_pool_x(x).permute(0, 1, 3, 2) # 16，1024，13，1 ->16,1024,1,13
        x_w = self.avg_pool_y(x)  #16，1024，1，13
        #现在x_h以及x_w的shape均为16，1024，1，13    16，1024，1，13->16,1024,1,26 经过conv之后，成为16，64，1，26 过relu提升非线性因素，即为non-linear
        x_cat_conv_relu = self.relu(self.conv_1x1(torch.cat((x_h, x_w), 3))) #其shape为16，64，1，26   #在维度3上对两个tensor进行一个cat操作，之后过1*1的卷积，再过relu
                                                                             #具体的即为将维度3上的13与13相加，同时通过卷积调整其通道数为64，进而过relu提升其非线性因素，即为non-linear
        x_cat_conv_split_h, x_cat_conv_split_w = x_cat_conv_relu.split([self.h, self.w], 3)   #按照维度3以及h和w的值将这个张量分开
        #print(x_cat_conv_split_h.shape)    #对于垂直方向，其输出的shape仍为16，64，1，13
        #print(x_cat_conv_split_w.shape)    #对于水平方向，其输出的shape仍为16，64，1，13
        s_h = self.sigmoid_h(self.F_h(x_cat_conv_split_h.permute(0, 1, 3, 2)))  #对于垂直方向的，为先进行一个转置，之后通过卷积达到所原先的通道数，再过sigmoid进行归一化处理
        #print(s_h.shape)  #为16，1024，13，1
        s_w = self.sigmoid_w(self.F_w(x_cat_conv_split_w)) #对于水平方向，使用卷积来达到原先的通道数，之后进行归一化的处理
        #print(s_w.shape)  #为16，1024，1，13
        out = x * s_h.expand_as(x) * s_w.expand_as(x) #作用为进行张量形式的复原 ，将(16，1024，13，1)与(16，1024，1，13)相乘，可得到16，1024，13，13
        return out

F=torch.randn(16,1024,13,13)
print('As Begin!!')
print(F.shape)
CA=CA_Block(1024,13,13)
F=CA(F)
print('After Change!!')
print(F.shape)