论文笔记——Model Pruning Enables Efficient Federated Learning on Edge Devices

原文见论文题目

论文将剪枝与联邦学习结合起来。

针对服务器端是否有可用样本分为：基于样本剪枝和无样本剪枝

称以下过程为一个联邦：

联邦剪枝

在初始剪枝之后，除了标准的联邦学习过程外，系统还可以进一步执行重复的训练和剪枝操作。这里，系统执行一个或几个联合（即使用联合学习过程进行模型训练），然后执行修剪步骤，从模型中删除一定数量的小参数。我们称之为联邦修剪。

一次性剪枝

与服务器端的剪枝相比，联邦剪枝的好处在于它结合了客户端可用本地数据的影响，这反映在联邦学习过程中通过分布式梯度下降进行的模型更新中。联合修剪步骤是可选的。当我们只使用基于服务器的初始剪枝而不使用联邦剪枝时，本文称之为一次性剪枝。

四种修剪情况：

（i）基于样本和一次性修剪，

（ii）少样本和一次性修剪，

（iv）基于样本和联邦修剪，

（iv）少样本和联邦修剪。

实验

实验研究了四种不同的模型和数据集，分别是LeNet-300-100和Conv-FashionMNIST，联邦扩展MNIST（FEMNIST）数据集的Conv FEMNIST和CIF AR10数据集的VGG11。