본 기술은 보다 몰입감 있는 360도 영상 경험을 제공해주는 모바일 디바이스와 5G MEC(Multi-Access Edge Computing)/CLOUD등과 같은 멀티 GPU 환경 기반 실시간 고속 3DOF 360 비디오 생성 및 소비 기술임
A. 목적
- 본 기술은 스마트폰을 통해 입력된 8채널 4K@60fps 비디오에 대해 8K 360VR@60fp(이하 8KVR) 라이브 스티칭, 스트리밍 및 렌더링 기능을 제공함. 이 기술은 실사 360VR 기반의 AR AR(Augmented Reality; 증강현실) /MR MR(Mixed Reality; 혼합현실) /XR XR(eXtended Reality; 확장현실)를 제공하는 메타버스 서비스 등 차세대 실감미디어 서비스에 활용 가능함
B. 필요성
- 실사 360VR 기반의 AR/MR/XR를 제공하는 메타버스 서비스 등 차세대 실감미디어 서비스에 적용 가능한 본 기술은 의료, 교육, 문화, 게임, 엔터테인먼트, 광고, 제조 산업(기계, 철강, 자동차 등) 등에 폭넓게 활용되어 관련시장도 크게 성장할 것으로 전망됨
- 세계 메타버스 시장은 ‘27년 8,553억 달러, 세계 GDP 1%를 넘어, ‘30년 1.5조 달러, GDP의 1.81%에 이를 것으로 예측됨
- 로컬 및 클라우드 환경에서 실시간으로 동작하는 다중 GPU 기반 8KVR 스티칭 시스템
- 6 또는 8채널 4K@60fps 비디오 입력 또는 스트림 수신 후 실시간 디코딩, 실시간 스티칭을 통한 8KVR@60fp 비디오 생성, 스트리밍을 통한
스마트폰/태블릿 플레이어 앱에서 의 실시간 전방위 렌더링 기능 제공
- 다중 GPU 기반 ERP(Equirectangular Projection) 병렬 처리, GOP(Group of Pictures) 기반 분산 인코딩/디코딩, NV12 형식 기반 버퍼링을 통한
8K 360VR 라이브 스티칭 기술 개발
- ERP 기반 색보정, 실시간 CG 오버레이를 통한 스티칭 품질 개선
A. 기술명 : 초고품질 3DOF 360 비디오 생성 시스템
- 윈도우 버전 3DoF 360 비디오 스티처 (MMT Client Lib포함)
: 다채널 4K 비디오 수신, 실시간 디코딩 및 동기화 기능
: 8K@60fps 3DoF 360 비디오 실시간 스티칭 기능
: 3DoF 360 비디오 인코딩, 저장 및 스트리밍 기능
- 우분투 버전 3DoF 360 비디오 스티처 (MMT Client Lib포함)
: 상동
: 윈도우 버전과 우분투 버전 중 택1
- 4K 비디오 캡쳐 및 스트리밍용 안드로이드 앱
: 모바일 카메라 기반 4K 비디오 스트림 캡쳐 및 인코딩 기능
: 4K 비디오 스트리밍 기능
- 8K 360VR 스트림 수신 및 랜더링용 안드로이드 앱
: 8K 스트림 수신 및 3DoF 360 비디오 전방향 랜더링 기능
A. 기술명 : 초고품질 3DOF 360 비디오 생성 시스템
- 3DoF 360 비디오 스티칭 소프트웨어(윈도우/우분투 버전 중 택1)
- 4K 비디오 캡쳐, 인코딩 및 스트리밍 소프트웨어
- 8K 스트림 수신 및 3DoF 360 비디오 랜더링 소프트웨어
- 요구사항정의서, 시험절차및결과서
- 시간과 공간의 제약 없는 메타버스 공간에서의 사람들 간의 자유로운 만남, 소통, 체험을 가능하게 하는 원격회의/교육/의료/군사훈련/보안 등 다양한 분야에서의 사회적 비용 절감 기대
- 방송·통신 미디어 서비스뿐 아니라 교육, 안전, 복지, 국방 등 국가적 문제와 일인가구, 노령인구 증가 등 사회문제 해결 수단으로서 미디어 역할 증대
- VR 소셜 앱인 호라이즌 통해 사람의 얼굴을 정확하게 인식하고, 사람의 움직임까지 구현하는 아바타를 개발하고 있는 Facebook, 전 세계 예술가들과 함께 3D 신발 및 패션 아이템을 제작하여 판매하던 아티팩트 스튜디오를 2021년 12월 인수하여, 해당 업체의 최근 대표작인 '메타버스 레디 클론 X 아바타 프로젝트(Metaverse ready CloneX avatars project)를 손에 넣은 나이키, 2021년 3월 디센트럴랜드의 가상 점포에서 가상화폐인 이더리움을 사용해 주문하면 실제 배달까지 이어지는 메타버스 피자주문 서비스를 운영한바 있는 도미노 피자 등 글로벌 IT 기업 및 제조사들에 의해 연구개발이 주도되고 있는 실사 360VR 기반 메타버스 산업에서 국내 산업계의 글로벌 경쟁력 확보