Segmentation의 정보를 활용한 Stereo Depth Estimation

Segmentation 정보는 Depth Estimation에 있어 도움이 되는 정보이다. 우리는 Segmentation Feature를 어떻게 Depth Estimation을 위한 Feature와 Fuse할 것인가에 대해 연구를 진행했다.

Depth에 대한 Target을 생성하는 것은 LiDAR를 사용하기에 굉장히 어려운 작업이고 생성된 Target일지라도 정확한 값을 가지고 있는지도 확신할 수 없다. 그렇기에 우리는 Self-Supervised Learning을 통한 Depth Estimation 학습을 진행했다.

Segmentation Model의 경우 CityScape를 통해 Pretrain 되어진 Segmentation Model을 사용하였고, Depth Estimation Model의 경우 Kitti Dataset을 사용하여 학습시켰다.

본 연구에서 제안하는 모델은 Segmentation과 Depth Estimation을 동시에 진행하는 Joint Model로 Contribution은 다음과 같다.

• Depth Estimation Network에 Semantic Segmentation Feature를 넘겨주어 Fuse 함으로써 Semantic한 정보 제공

• 각 Resolution에서 처리된 Feature를 high Resolution에서 합침으로써 Spatial한 정보와 Semantic한 정보 모두 풍부한 Feature를 생성

• Correlation 연산을 통해 생성된 Feature를 Left Feature와 Concat하여 사용함으로써 성능 향상