SWAD: Domain Generalization By Seeking Flat Minima (ML)

2022년 07월 08일 (금) | 발표자: 조상영

flat loss 를 찾음으로써 domain generalization task에서 unseen domain 에서 robust 한 성능을 보여주는 방식을 연구한 논문입니다.

이전 연구인 Stochastic weight averaging(SWA)가 특정 k epoch마다 loss 를 탐색한것에 반해 Stochastic weight averaging(SWAD)는 validation loss와 opimal loss 사이의 구간에서 densely 성능을 측정합니다.

이 flat 한 구간 내의 model parameter 들을 평균내어 robust 한 model을 도출합니다.

실험은 5 benchmarks(PACS, VLCS, OfficeHome, TerraIncognita, DomainNet)에서 수행되었으며, 실험을 위해 domainbed 라는 framework를 사용하여 실험을 진행하였습니다.

그 결과 다른 algorithms에 접목함으로써 각 algorithm이 개선된 domain generalization 성능을 보여주는 결과를 보여주었습니다.