基于自适应梯度压缩的高效联邦学习通信机制研究
作者:唐伦; 汪智平; 蒲昊; 吴壮; 陈前斌
更新时间:
针对物联网场景下联邦学习过程中大量设备节点间冗余梯度交互通信带来的通信代价问题,提出了一种阈值自适应梯度通信压缩机制。首先,介绍了一种基于边缘联邦学习的CE-EDFL通信机制,其中边缘服务器作为中间设备在设备端执行本地模型聚合,云执行边缘服务器模型聚合和新参数分布。其次,为了进一步降低联邦学习检测的通信开销,提出了一种阈值自适应梯度压缩机制,通过压缩局部模型的梯度参数来减少设备与边缘服务器之间的冗余通信。实验结果表明,该算法在保证大规模物联网设备场景下深度学习任务准确性的同时,减少了梯度交互通信次数,有效地提高了模型的整体通信效率。