ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

MPEG immersive video standards-based immersive video decoder and renderer

Manager
Shin Hong-Chang
Participants
Sangwoon Kwak, Joonsoo Kim, Shin Hong-Chang, Yun Kug Jin, Lee Gwang Soon, Lee Bong Ho, Jinhwan Lee, Hyun-Woo Lee, Won-Sik Cheong, Jeong Jun Young, Choo Hyon-Gon
Transaction Count
1
Year
2024
Project Code
24HC2700, Development of immersive video spatial computing technology for ultra-realistic metaverse services, Hyun-Woo Lee
23HH8900, Development of immersive video spatial computing technology for ultra-realistic metaverse services, Hyun-Woo Lee
22GH1500, Development of immersive video spatial computing technology for ultra-realistic metaverse services, Hyun-Woo Lee
본 이전기술은 현실과 구별할 수 없는 초실감 디지털 공간을 표현하고 사용자의 공간내의 자유로운 이동이 가능한 초실감 메타버스 서비스를 제공하기 위하여 적용된다. 사용자가 몰입형 미디어 체험을 할 수 있도록 목표 3차원 공간 표현이 가능한 입체영상 데이터를 수신하고 이를 실시간 복호화 및 렌더링하기 위한 실사 혼합 입체영상 수신 및 재현 시스템 기술이다.
- 現 CG기반의 메타버스 서비스를 현실과 구분할 수 없는 초실감 메타버스 공간으로 표현하기 위해서는 실사로 획득된 3차원 입체영상을 메타버스를 구성하고 자유롭고 편안하게 이용할 수 있도록 해야 하며, 이를 위해서 획득된 다수의 3차원 입체영상을 IP 환경에 송수신 및 재현할 수 있는 서비스 기반 기술이 필요함. IP 환경에서 대용량의 3차원 입체영상을 서비스하기 위해서는 효율적인 데이터 압축 기술이 필수이며 향후 확장성을 고려하면 국제표준을 준용한 이머시브 비디오 압축 및 송수신 기술이 필요함.
- 본 이전기술에서 준용한 이머시브 비디오 압축 관련 국제 표준인 MIV(MPEG Immersive Video) 표준은 3차원 입체영상 간 중복성을 제거하여 데이터를 압축하는 기술이며 HEVC와 같은 기존 비디오 압축 기술과 호환이 가능하여 현재의 IP환경에서 대용량의 3차원 입체영상 데이터를 효율적으로 압축할 수 있는 기술임.
- 추가적으로 목표 3차원 공간을 부분 단위 공간으로 분할하여 사용자가 속한 영역에 해당하는 3차원 입체영상 데이터만을 선택적으로 수신하여 목표 3차원 공간 영상을 끊김없이 재현하는 기술이 요구되며, 이를 위해 ‘Carriage of V3C’ 국제표준에 의거 그룹별로 분할된 대용량의 3차원 입체영상 데이터를 수신, 실시간 복호화 과정을 거쳐 사용자 시점 영상을 실시간으로 재현하는 기술을 제공함으로 상기 문제를 해결할 수 있음
- 본 기술은 다수의 3차원 입체영상을 토대로 국제표준에 의거 V3C 파일을 DASH 전송 규격을 통해 세그먼트 형태로 수신하여 파싱할 수 있는 특징이 있음.
- 국제표준과의 호환성을 위해 MPEG Immersive Video(MIV) 표준 및 HEVC에 따라 인코딩된 데이터를 실시간으로 복호화할 수 있는 특징이 있음.
- 본 기술은 IP환경에서 V3C 파일을 실시간 수신하고 이를 다중 GPU 기반으로 실시간 고속 합성할 수 있는 기능을 제공함으로써 다양한 몰입형 미디어 서비스를 제공할 수 있는 장점을 제공할 수 있는 특징이 있음.
- 본 기술은 일반적인 PC 환경에서 적용 가능한 장점이 있음.
1. 이머시브 비디오 표준 기반 실사혼합 입체영상 수신 및 재현 시스템 기술
- DASH 세그먼트 수신 및 복호화 기능
- HEVC 비디오 복호화 기능
- 실시간 MIV 복호화 기능
- 아틀라스 영상 기반 실시간 합성 및 재현 기능
1. 이머시브 비디오 표준 기반 실사혼합 입체영상 수신 및 재현 시스템 기술
- 요구사항 정의서
- 시스템 시험절차서 및 결과서
- 이머시브 비디오 표준 기반 실사혼합 입체영상 수신 및 재현 SW(소스, 바이너리)
- 국내특허 3건
- 기술문서: MIV 디코더 모듈 구조 상세분석서, MIV기반 수신재현 통합 SW 정합 구조설계서
- 본 기술은 궁극적으로 초실감 메타버스 서비스를 위한 실사기반 입체영상 송수신시스템으로 사용될 수 있으며, 이를 활용하여 가상콘텐츠 서비스, 실시간 3D 화상(가상)회의용 단말, 3D 디지털 사이니즈 등의 미디어 영역을 비롯해 의료, 교육 홍보 등 타 산업으로도 적용 확대 가능함,