엔비디아, VR개발 도구에 ‘가상현실 오디오’와 ‘360도 비디오’ 지원 추가

게시자: 김성훈, 2017. 5. 10. 오전 7:15
엔비디아가 미국 캘리포니아 산호세에서 8일(현지시각)부터 진행 중인 엔비디아 GPU 테크놀로지 콘퍼런스(GPU Technology Conference, 이하 GTC)에서 가상현실(VR) 환경에서의 오디오 구현 기술과 360도 동영상 스티칭(video stitching)을 자사 VR웍스(VRWorks) 소프트웨어 개발 키트(SDK)의 새로운 구성 요소로 공개했다.

현실에서의 음향은 음원의 3차원적 위치뿐 아니라 주위 환경의 규모와 물질 특성에 따라 천차만별로 달라진다. 하지만 기존의 VR 솔루션에서 제공하는 오디오는 음원의 실제 3D 위치만 제공하고 주위 환경 및 물리적인 특성이 반영되지 못했다.

▲엔비디아가 자사의 VR 개발 도구 ‘VR웍스’에 새로운 ‘가상현실 오디오’기술과 ‘360도 영상’ 처리 기술을 새롭게 추가했다고 밝혔다. / 엔비디아 제공

이번에 엔비디아 VR웍스에 추가된 VR 오디오 기술은 '옵틱스 레이 트레이싱(OptiX ray-tracing)' 기술과 GPU의 대규모 처리 능력을 바탕으로 사실적이고 몰입감 있는 음향을 재현한다.

특히 사전 정보 없이 음향의 위치와 방향, 가상환경의 크기와 형태, 주위 사물의 재질 특성을 반영하고 반사와 굴절, 회절 등의 음향 전파 현상을 실시간으로 모델링해 현실과 거의 비슷한 감각의 음향을 들을 수 있게 한다.

이번에 공개된 엔비디아 VR 오디오 개발 키트는 게임 엔진 및 애플리케이션 종류에 관계없이 탑재할 수 있도록 지원하는 C-API 세트가 포함되어 있다. 에픽게임즈의 언리얼 엔진 4(Unreal Engine 4) 엔진용 탑재 도구도 깃허브(GitHub)를 통해 제공된다.

함께 공개한 VR웍스 360 비디오 개발 키트는 실시간으로 4K 360 동영상 캡처, 스티칭 및 스트리밍을 지원한다. 기존의 360도 VR 영상 제작시 까다로운 부분인 실시간 동영상 스티칭(stitching) 문제를 실시간으로 처리할 수 있다.

2개 이상의 카메라를 사용하는 대다수 VR 카메라는 각각의 카메라에서 촬영한 화면 프레임이 겹치는 부분에서 자연스럽지 않은 왜곡이 발생한다. 그러한 왜곡을 자연스럽게 보이도록 보정하는 기술이 '동영상 스티칭'이다.

이번에 공개한 VR웍스 360도 비디오 기술은 베타버전으로 아직 모노 영상까지만 지원한다. 스테레오 영상 지원 기능은 추후 공개될 예정이다. 엔비디아는 GTC 현장에서 8대의 4K 카메라를 사용하는 Z CAM의 V1 PRO VR 카메라 시스템과 2개의 쿼드로 P6000(Quadro P6000) GPU를 활용해 4K급으로 촬영된 360도 영상의 실시간 스테레오 스티칭을 시연해 보였다.

엔비디아는 "이번에 선보인 VR 오디오와 360도 비디오 개발 킷을 통해 더욱 몰입감 넘치는 VR 제작과 손쉬운 VR 개발이 가능하게 됐다"고 밝혔다.

엔비디아 VR웍스 오디오 및 360 비디오 SDK는 모든 개발자들이 이용할 수 있도록 엔비디아 VR웍스 홈페이지(developer.nvidia.com/vr)에 공개됐다. 모노 지원 VR웍스 360 비디오 SDK는 현재 공개 베타 형태로 제공되고 있다. 스테레오 지원 VR웍스 360 비디오 SDK는 빠른 시일 내 공개될 예정이다.

최용석 기자
Comments