본 이전기술은 3차원 공간에 대해 제한된 수로 획득된 영상 정보를 기반으로 HMD 사용자가 6자유도를 느끼며 몰입형 미디어 체험을 할 수 있도록 실시간으로 사용자의 시점 영상을 합성 및 재현하는 시스템 기술이다. 본 기술은 입력 데이터로부터 사용자의 양안에 해당하는 2개의 영상을 합성 및 HMD/모니터 동시 재현하는 SW로 구성되며, 입력 데이터는 3차원 공간에 대한 다시점 영상 정보 (소스 영상 또는 아틀라스), 다시점 깊이맵 정보 (소스 영상 또는 아틀라스), 카메라 파라미터, 그리고 그 외 합성을 위한 설정 정보로 구성된다.
- 現 CG기반의 메타버스 서비스를 현실과 구분할 수 없는 초실감 메타버스 공간으로 표현하기 위해서는 실사로 획득된 3차원 입체영상으로 메타버스를 구성하고 자유롭고 편안하게 이용할 수 있도록 해야하며, 이를 위해서 사용자를 둘러싸고 있는 메타버스 공간을 실사 입체 영상으로 재현하기 위한 기술 개발이 필요함
- 메타버스 공간을 실사 입체 영상으로 재현하기 위해서는 주어진 공간 내에서 사용자가 바라볼 가능성이 있는 모든 위치 및 방향에 대한 시점 영상이 필요함. 그러나 필요한 모든 영상을 획득 및 생성하거나, 막대한 용량의 영상 데이터를 처리하는 것은 현 기술 수준에서 불가능하므로, 이를 해결할 수 있는 기술이 필요함
- 본 전방위 가상시점 영상 합성 및 재현 시스템은 제한된 수로 획득된 영상 정보와 해당 영상 위치에서의 깊이 정보를 이용하여 획득되지 않은 위치의 사용자 가상시점 영상을 실시간으로 합성하고 재현함으로써 상기 문제를 해결할 수 있음
- 본 기술은 제한된 수의 영상 및 깊이 정보 만으로 3차원 공간을 자유롭게 체험할 수 있도록 6자유도(Degrees of Freedom, DoF) 가상시점 영상을 합성 및 재현할 수 있는 특징이 있음
- 본 기술은 국제표준과의 호환성을 위해 MPEG Immersive Video(MIV) 표준에 따라 인코딩된 데이터를 입력으로 읽어들일 수 있는 특징이 있음
- 본 기술은 알고리즘 최적화와 그래픽스 파이프라인 기반 고속화를 통해 사용자가 지연을 느낄 수 없을 정도의 고속으로 동작함으로써, 실시간 몰입형 미디어 체험을 지원할 수 있다는 장점이 있음
- 본 기술은 일반적으로 사용되는 상용 HMD(오큘러스 Rift S, 오큘러스 Quest 2 등)기기와 호환하여 동작 가능하다는 장점이 있음
전방위 가상시점 영상 합성 및 재현 시스템 기술
- 입력 정보에 따른 가상시점 합성 및 HMD/모니터 동시 재현 기능
- 양안영상 합성을 통한 입체시 지원 기능
- 6자유도(회전운동 + 병진운동) 지원 가상시점 영상 합성 기능
- 실시간 가상시점 영상 합성 및 재현 기능
- 요구사항 정의서
- 시험절차 및 결과서
- 전방위 가상시점 영상 합성 및 재현 시스템 SW 소스코드
- 본 기술은 궁극적으로 초실감 메타버스 서비스를 위한 실사기반 입체영상 재현 시스템으로 사용될 수 있으며, 이를 활용하여 가상콘텐츠 재현 서비스, 화상(가상)회의용 단말, 디지털 트윈 공간 구성 재현 등의 미디어 영역을 비롯해 국방, 제조, 의료, 교육 등 타 산업으로도 적용 확대 가능