2022年深度神经网络模型压缩和加速方法VIP免费

优选文档综述：深度神经网络模型压缩和加速方法一、研究背景在神经网络方面，早在上个世纪末，YannLeCun等人已经使用神经网络成功识别了邮件上的手写。至于深度学习的概念是由GeoffreyHinton等人第—次提出，而在2022年，Krizhevsky等人采纳深度学习算法，以超过第二名以传统人工设计特征方法X率10%的庞大领先取得了ImageNet图像分类比赛冠军。此后的计算机视觉比赛已经被各种深度学习模型所承包。这些模型依赖于具有数百甚至数十亿参数的深度网络，传统CPU对如此庞大的网络一筹莫展，只有具有高计算能力的GPU才能让网络得以相对快速训练。如上文中比赛用模型使用了1个包含5个卷积层和3个完全连接层的6000万参数的网络。通常情况下，即使使用当时性能X的GPUNVIDIAK40来训练整个模型仍需要花费两到三天时间。对于使用全连接的大规模网络，其参数规模甚至可以到达数十亿量级。当然，为了解决全连接层参数规模的问题，人们转而考虑增加卷积层，使全连接参数降低。随之带来的负面影响便是大大增长了计算时间与能耗。对于具有更多层和节点的更大的神经网络，减少其存储和计算本钱变得至关重要，特别是对于一些实时应用，如在线学习、增量学习以及自动驾驶。在深度学习的另一端，即更贴近人们生活的移动端，如何让深度模型在移动设备上运行，也是模型压缩加速的一大重要目标。Krizhevsky在2022年的文章中，提出了两点观察结论：卷积层占据了大约90-95%的计算时间和参数规模，有较大的值；全连接层占据了大约5-10%的计算时间，95%的参数规模，并且值较小。这为后来的研究深度模型.优选文档的压缩与加速提供了统计依据。一个典型的例子是具有50个卷积层的ResNet-50需要超过95MB的存储器以及38亿次浮点运算。在丢弃了一些冗余的权重后，网络仍照常工作，但节约了超过75％的参数和50％的计算时间。当然，网络模型的压缩和加速的最终完成需要多学科的联合解决方案，除了压缩算法，数据结构、计算机体系结构和硬件设计等也起到了很大作用。本文将着重介绍不同的深度模型压缩方法，并进行比照。二、研究现状综合现有的深度模型压缩方法，它们主要分为四类：••••参数修剪和共享〔parameterpruningandsharing〕低秩因子分解〔low-rankfactorization〕转移/紧凑卷积滤波器〔transferred/compactconvolutionalfilters〕知识蒸馏〔knowledgedistillation〕基于参数修剪和共享的方法针对模型参数的冗余性，试图去除冗余和不重要的项。基于低秩因子分解的技术使用矩阵/张量分解来估量深度学习模型的信息参数。基于传输/紧凑卷积滤波器的方法设计了特别的结构卷积滤波器来降低存储和计算复杂度。知识蒸馏方法通过学习一个蒸馏模型，训练一个更紧凑的神经网络来重现一个更大的网络的输出。一般来说，参数修剪和共享，低秩分解和知识蒸馏方法可以用于全连接层和卷积层的CNN，但另一方面，使用转移/紧凑型卷积核的方法仅支持卷积层。低秩因子分解和基于转换/紧凑型卷积核的方法提供了一个端到端的流水线，可以很简单地在.优选文档CPU/GPU环境中完成。相反参数修剪和共享使用不同的方法，如矢量量化，二进制编码和稀疏约束来执行任务，这导致常需要几个步骤才能到达目标。方法名称剪枝和共享描述删除对X率影响不大的参数使用矩阵对参数进行分解估量设计特别的卷积核来保存参数训练一个更紧凑的神经网络来从大的模型蒸馏知识应用场景卷积层和全连接层卷积层和全连接层只有卷积层方法细节对不同设置具有鲁棒性，可以到达较好效果，支持从零训练和预训练标准化的途径，很简单实施，支持从零训练和预训练算法依赖于应用程序，通常可以取得好的表现，只能从零开始训练模型表现对应用程序和网络结构较为敏感，只能从零开始训练低秩分解转移、紧凑卷积核知识蒸馏卷积层和全连接层关于训练协议，基于参数修剪/共享、低秩分解的模型可以从预训练模型或者从头开始训练，因此灵敏而有效。然而转移/紧凑的卷积核和知识蒸馏模型只能支持从零开始训练。这些方法是独立设计和相辅相成的。例如，转移层和参数修剪和共享可以一起使用，并且模型量化和二值化可以与低秩近似一起使用以完成进一步的加速。不同模型的简要比照...