Surrogate Gap Minimization Improves Sharpness-Aware Training

2022년 09월 02일 (금) | 발표자: 송유헌

이 논문은 training 과 test간의 gap을 줄여 generalization 성능을 향상 시키기 위해 loss landscape 관점에서 접근합니다. Sharpness Aware Minimization(SAM) 논문에서 사용하는 perturbed loss가 항상 sharpness-aware이 아님을 보이고, Hessian의 dominant eigenvalued에 해당하는 surrogate gap을 제시합니다. SAM의 perturbed loss와 surrogate gap을 동시에 minimize하여 높은 generalziation 성능을 보였고, 이론적으로 GSAM의 수렴을 보이고, SAM보다 좋은 generalization 을 증명합니다.