ONLINE LEARNING RATE ADAPTATION WITH HYPERGRADIENT DESCENT

2022년 08월 05일 (금) | 발표자: 고한범

딥러닝 학습시에는 필요한 많은 하이퍼파라미터 중 가장 중요한 하이퍼파라미터는 learning rate 이다. 이 learning rate 를 objective function 방향으로 매 트레이닝 iteration 마다 adaptive 하게 업데이트 할 수 있는 방법인 Hypergradient descent 방법을 ICLR 2018 “ONLINE LEARNING RATE ADAPTATION WITH HYPERGRADIENT DESCENT” 페이퍼를 통해 살펴본다.