祝贺周子昊同学的异步联邦学习工作被分布式系统顶刊IEEE TPDS录用!
点击次数：
发布时间：2022-02-12
发布时间：2022-02-12
文章标题：祝贺周子昊同学的异步联邦学习工作被分布式系统顶刊IEEE TPDS录用!
内容：
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data（作者：Zihao Zhou, Yanan Li, Xuebin Ren, Shusen Yang）。该工作提出了一种新的两阶段加权K异步联邦学习（WKAFL）算法，以缓解异质性数据和延时性缓解策略间存在的内在矛盾，提高异质性数据场景下的异步联邦学习模型的效用性。首先，WKAFL通过累积历史梯度信息来缓解异质性数据的影响，并基于延时程度聚合接收的K 个梯度，缓解延时性的影响，从而得到估计的全局无偏梯度。其次，WKAFL 选择与估计梯度下降方向一致的梯度并赋予较高的权重，反之亦然，以此来筛选并聚合更多的梯度，不仅可以进一步地缓解异质性数据的影响，而且可以筛选一致的高延时梯度加速模型收敛，防止不一致的延时梯度降低模型的效用性。最后，我们在两个标准的联邦数据集和两个合成的联邦数据集上验证了WKAFL模型的效用性。
Fig. 1：Workflow of WKAFL.
Fig. 2: Exploration of the effect of non-IIDness. Fig. 3: Relation of non-IID data and staleness