Layer-wised Model Aggregation for Personalized Federated Learning

2022년 08월 05일 (금) | 발표자: 임진혁

이 논문은 기존 연구들이 Personalized Federated Learning을 모델을 aggregation 단위로 보는 것에 대해 신경망의 각 layer 별 feature가 크게 차이가 나므로 한계가 있다고 보고 Layer-wise aggregation method를 제안하였다. Weighted Aggregation을 위한 Similiarty Matrix 대신 하이퍼 네트워크를 통해서 Aggregation Matrix를 생성하였으며 이를 통해 Client가 각자 고유한 Personalized Model을 업데이트할 수 있게 한다. 추가로, top-k 휴리스틱 방식을 통해 Matrix의 weight value를 활용하여 성능을 유지하면서 communication cost를 줄일 수 있음을 보였다.