通道注意力机制_注意力机制新玩法：自适应参数化ReLU激活函数
本文在综述传统激活函数和注意力机制的基础上，解读了一种注意力机制下的激活函数，即自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU），希望对大家有所帮助。 1. 激活函数激活函数是现代人工神经网络的重要组成部分，其作用是实现人工神经网络的非线性化。我们首先来介绍几种最常见的激活函数，即Sigmoid激活函数、Tanh激活函...
