On aliased resizing and surprising subtleties in gan evaluation

2022년 08월 05일 (금) | 발표자: 장유진

FID는 high-level feature들을 추출하여 평가하는 메트릭. Image resizing, compression등의 low-level preprocessing의 차이로 변화와 결과에 큰 차이를 줄 수 있다.

(1) Image Resizing Effect

• bilinear, bicubic kernel로 resizing할 경우, signal processing 에서는 downsampling factor에 따른 adjusting prefilter width 을 사용할 경우, 적절한 bandwidth로 antialias 할 수 있다.

  • 그러나, 기존에 구현되어 있는 라이브러리 몇 개는 fixed-width prefilter를 사용하기 때문에 aliasing artifact가 생긴다.

→ aliasing artifact는 feature extraction에서 corruption을 발생시킴.

(2) Compression / Quantization

• JPEG과 같은 lossy compression은 용량 문제로 보통 사용하는데, 사람 눈에는 quality를 저하시키지 않게 압축할 수 있도록 디자인 된 형식이지만, 이것 또한 다양한 변화를 줄 수 있다.

  • 압축이 real training image에 적용되고 generated image들도 압축되었다면, FID는 개선될 수 있다.

본 연구에서는 section 4.3에서 $\psi_\text{data}$ Training image를 resizing하는 효과와, 299*299 사이즈로 resizing하는 $\psi_\text{FID}, \hat\psi_\text{FID}$의 영향을 비교해보고자 하였다. 그리고 마지막으로, image quantization 및 compression의 영향력을 확인해보고자 하였다. 추가적으로, 신호처리 관점에서 어떻게 프로세싱을 하면 좋은지 추천을 해주고, reference implementation을 제공하였다.