arxiv:2103.00710 传送门
- 综述个性化联邦学习（Personalized FL，PFL）的进展。讨论了PFL目前的发展阻碍，并将PFL分为基于数据的和基于模型的方法。展望PFL的发展轨迹、PFL的benchmarking、可信赖的PFL方法
- PFL的发展阻碍
- 有限的FL框架
- 隐私保护约束。现有很多方法不满足隐私保护的需求，有的允许本地数据或元数据的共享，有的假设可以用能代表整体分布的代理数据集
- PFL方法
- 基于数据的方法
- 目标是平滑掉统计上的异构性
- 数据增强，通常需要共享一些数据
- 客户节点选择，用本地更新的梯度，跟在服务器上代理数据集上的梯度进行比较
- 基于模型的方法
- 单模型PFL方法
- 学习模型的一个可用的初始化版本，或者学习更理想的任务特定的本地表示
- 元学习
- 参数解耦，比如把embedding层作为私密参数，或者把特征提取层作为隐私层，只联邦学习其他的层
- 多模型PFL方法
- 节点聚类，每类节点维持一个模型。这种方法需要更多的计算和通讯消耗
- N-模型PFL方法
- 多任务学习，通常假设任务之间存在联系
- 模型插值，每个节点训练自己的模型，用一个惩罚项来约束它跟平均的结果尽量相同，保持整体的相似性
- 迁移学习
- 参数解耦，把模型分为base层和personalized层，只共享base层（跟拆分特征提取层和分类层有何区别？）
- 单模型PFL方法
- 未来发展方向
- 客户端的数据分布分析
- 聚合处理：如匹配平均
- 空间适应性：处理如新节点、掉线、stragglers的能力
- 时间适应性：处理非静态数据的能力
- 基于数据的方法
最后
以上就是丰富灰狼最近收集整理的关于扫读 | Towards Personalized Federated Learning的全部内容，更多相关扫读内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复