Completed Projects
Embedded Files
[HIRING!] 2024 Graduate Students & Undergraduate Interns (석박사 대학원생 및 학부인턴 모집)
멀티뷰 이미지 프로세싱
멀티뷰 이미지 프로세싱
직접 영상을 움직여보세요!
출처 : https://youtu.be/VTwOSfP8QEE?list=PLtnlusA0ZogjBo-D0mPdV6Pq-q4aGwUsY
최근 몰입형 미디어 (Immersive Media)의 등장과 수요의 증가에 따라 다중 시점 영상 관련 연구가 활발하게 진행되고 있다.
IVML에서는 인스턴스 분할 (Instance Segmentation)이 적용된 다중 시점 이미지의 객체들 간 ID 를 매칭하는 방법에 관심을 갖고 연구를 진행 중이다.
구체적으로, 다중 시점 영상 분할 알고리즘을 설계하고, 자체적으로 제작한 IVML 데이터 셋에 대하여 성능을 분석하고자 한다.
| 딥러닝 기반의 멀티뷰 이미지 인스턴스 분할
Unreal Engine5로 만든 IVML dataset에 대하여 인스턴스 분할을 진행한다.
IVML dataset은 총 8가지의 Scene으로 구성되며, 각 Scene 당 총 12개의 카메라를 이용하여 동 시간대의 여러가지 View를 취득한다.
IVML dataset 예시 (군중 데이터셋)
인스턴스 분할이란, 입력된 이미지에 대하여 각각의 객체를 픽셀 단위로 세밀하게 탐지하는 과정을 의미한다.
인스턴스 분할 예시
출처 : https://avikkundu.medium.com/performing-instance-segmentation-on-x-ray-images-with-mask-r-cnn-761dbca23511
| 다중 시점 객체 ID 매칭
인스턴스 분할 결과로는 모든 이미지의 각각의 객체가 동일한 객체인지 알 수 없으므로, 인스턴스 분할 된 결과를 기반으로 각 이미지 내 객체들에 대하여 매칭을 진행한다.
하얀색으로 표시된 마스크는 아직 매칭된 객체가 없음을 의미하고, 각각의 색상 마스크는 개별 ID를 의미한다.
같은 색으로 표기된 마스크는 동일한 객체로 매칭되었음을 의미한다.
| Related Publication
신원, 배성현, 장승환, 고현석, "다중 시점 이미지의 분할 객체 간 ID 매칭 기술", 한국방송미디어공학회 하계학술대회, Jun., 2023. [paper]
Page updated
Report abuse