뉴스 본문

AI 컴퓨팅 분야의 세계적인 선도기업 엔비디아(CEO 젠슨 황)는 현지시간 8일부터 미국 캘리포니아 산호세 맥에너리 컨벤션센터에서 개최되고 있는 엔비디아 GPU 테크놀로지 컨퍼런스(GPU Technology Conference, 이하 GTC)에서 VR 오디오 및 360도 동영상 스티칭(video stitching)을 VR웍스(VRWorks) 소프트웨어 개발 키트(SDK)의 새로운 구성 요소로 공개했다. 본 구성 요소를 통해 보다 몰입감 넘치는 VR 제작과 손쉬운 VR 개발이 가능할 전망이다. 

VR웍스 오디오 SDK(VRWorks Audio SDK)는 가상 환경 내 오디오의 실시간 레이 트레이싱(ray tracing, 광선 추적)을 제공하며 에픽(Epic) 사의 언리얼 엔진 4(Unreal Engine 4)를 지원한다. VR웍스 360 비디오 SDK는 까다로운 실시간 동영상 스티칭 문제를 해결한다.

VR웍스 오디오, 물리적으로 정확한 오디오 구현 지원

기존의 VR 오디오는 가상 환경 내에서 음원의 실제 3D 위치만을 제공해왔다. 그러나 현실 세계에서 음향은 음원의 단순 위치뿐만 아니라, 음원이 발생하는 물리적 환경의 실제 규모 및 물질 특성 등을 반영해 구성된다.

엔비디아 VR웍스 오디오는 반사, 굴절 및 회절 등의 음향 전파 현상을 모델링함으로써 실제처럼 몰입감 넘치는 환경을 제작할 수 있도록 지원하며, 이 과정은 GPU의 대규모 처리 능력을 기반으로 실시간으로 진행된다.

또한 VR웍스 오디오는 엔비디아 옵틱스 레이 트레이싱(NVIDIA OptiX ray-tracing) 기술을 활용해 음향의 이동 경로를 실시간으로 추적하고 가상 환경의 크기. 형태, 재질 특성을 반영하여, 물리적으로 정확한 오디오를 구현한다.

VR웍스 오디오는 유일한 하드웨어 가속 방식의 이동 경로 추적 오디오 솔루션으로, 장면에 대한 사전처리(pre-bake) 정보 없이 실시간으로 특정 환경의 전체 음향 이미지를 생성한다. 애플리케이션에 의해 장면이 로딩되면, 음향 모델이 구축되어 플라이(fly)에 업데이트된다. 이어 오디오 효과 필터가 생성되어 음원 웨이브폼(waveform) 에 적용된다.

이번 소프트웨어 공개에는 엔진 및 애플리케이션 종류에 관계없이 탑재 가능하도록 지원하는 C-API 세트가 포함되어 있으며, 에픽사의 언리얼 엔진 4용 탑재 도구는 현재 깃허브(GitHub) 상에 공개되어 있다.

VR웍스 360 비디오, 실시간 스티칭 지원

이번 GTC에서는 실시간 4K 360 동영상 캡처, 스티칭 및 스트리밍을 지원하는 VR웍스 360 비디오 SDK(VRWorks 360 Vide SDK)의 첫 번째 베타도 공개됐다.

Z CAM

실시간 스티칭을 스테레오로 구현하는 VR웍스 360 비디오 SDK 후속 버전 시연에는 Z CAM의 V1 PRO VR 카메라 시스템이 활용됐으며, 2개의 쿼드로 P6000 (Quadro P6000) GPU를 기반으로 8대의 4K 카메라를 스테레오로 스티칭하는 방법이 공개됐다.

Z CAM의 킨슨 루(Kinson Loo) CEO는 “엔비디아의 4K 360도 스테레오 방식 동영상 실시간 스티칭은 라이브스트리밍을 가능하게 함으로써, 프로덕션 파이프라인에 변화를 가져오고 VR의 완전히 새로운 사용자 케이스를 만들어낸다”고 말했다.

산호세 맥에너리 컨벤션센터에서 개최되고 있는 GTC 2017의 참가자들은 ‘VR 빌리지(VR Village)’를 방문해 VR웍스 오디오 기술의 실시간 시연 및 OPTIS의 HIM VR 디자인 애플리케이션에 탑재된 SDK를 경험해 보고, 그 결과 나타나는 음향의 차이도 직접 느껴볼 수 있다.