IJCAI_2020_Channel Pruning via Automatic Structure Search1 摘要2 动机3 The Proposed ABCPruner4. 结果

43 阅读 0 评论 29 点赞

我是靠谱客的博主糊涂自行车，最近开发中收集的这篇文章主要介绍IJCAI_2020_Channel Pruning via Automatic Structure Search1 摘要2 动机3 The Proposed ABCPruner4. 结果，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1 摘要

通道修剪是压缩深层神经网络的主要方法之一。为此，现有的剪枝方法大多侧重于通过重要性/最优化或基于经验规则设计的正则化来选择通道(滤波器)，这是次优剪枝的缺陷。本文提出了一种新的基于人工蜂群算法(ABC)的通道剪枝方法，称为ABCPruner，其目的是有效地找到最优的剪枝结构，即每层的通道数目，而不是像以前的工作那样选择“重要”的通道。为了解决深层网络中难以处理的巨大剪枝结构组合问题，我们首先提出将保留通道限制在特定空间内的组合缩小，从而大大减少剪枝结构的组合。然后，将最优剪枝结构的搜索问题转化为优化问题，并结合ABC算法进行自动求解，以减少人为干扰。ABCPruner已经被证明是更有效的，它还能够以端到端的方式高效地进行微调。

2 动机

ABCPRuner的动机有二，Rethinking the value of network pruning. In ICLR, 2019结果表明，通道修剪的实质在于找到最优的修剪结构，即每层的通道数，而不是选择“重要”的通道。Amc: Automl for model compression and acceleration on mobile devices. In CVPR, 2018证明了将超参数自动控制方法应用于通道修剪的可行性，这种方法需要较少的人工干预。