pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis

2022년 03월 04일 (금) | 발표자: 이한얼

3D-aware image synthesis분야의 기존 접근 방식들은 generative visual models과 Neural Rendering의 빠른 발전을 이끌어냈으나, 다음 2가지 측면에서 여전히 한계가 있다.

첫째, 기본 3D representation이 부족하거나 view-inconsistent rendering에 의존할 수 있으므로, not multi-view consistent) 이미지를 합성할 수 있다.

둘째, 충분히 표현력이 좋지 않은 representation network architecture에 의존하는 경우가 많기 때문에 이미지 품질이 떨어진다.

논문에서는 고품질 3D-aware (3D-인식) 이미지 합성을 위한 Periodic Implicit Generative Adversarial Networks (pi-GAN) 제안한다.

특히, Periodic activation function와 volumetric rendering으로 구성된 neural representations을 활용하여, fine detail view-consistent 3D representation scene을 표현한다.

여러 가지 현실과 합성 데이터셋을 사용하여 3D-aware image synthesis에 대해 평가하였고 SOTA 결과를 얻었다.