ETRI-Knowledge Sharing Plaform

원격에 위치한 펜틸트 카메라 또는 광각 스테레오 카메라에서 실시간으로 영상을 전송 받아, 개인화된 몰입형 디스플레이 장치용 사용자 시점 영상을 생성하는 기술

구글에서는 카드 보드 및 관련 엔진과 앱을 공개하였으며, 페이스북은 Oculus rift사를 인수하여 새로운 컨슈머 제품을 준비하는 것은 물런 삼성전자와 협의하여 기어 VR을 출시하였다. 카드 보드 및 기어 VR과 같은 모바일 스마트 디바이스 기반의 개인화된 몰입형 디스플레이 장치가 시장의 트랜드를 구성할 것으로 예상되고 있다. 이에 따라 개인화된 몰입형 디스플레이를 위한 영상 획득 장치로서 기존의 스테레오, 구조광/TOF 카메라에 이어 360도 카메라 등이 시장에 등장하고 있다. 현재 나오고 있는 기술은 전방향 시야 획득을 위하여 해상도를 낮추거나 비 실시간으로 영상 재생을 지원하고 있다. 이에 따라 높은 해상도의 영상을 사용자의 움직임에 따라 실시간으로 전송 및 재생하기 위하여 본 기술이 필요하다.

사용자의 움직임에 따라 (a) 단일 사용자를 위하여, 스테레오 카메라의 펜틸트 구동축을 제어하여 새로운 시점 영상을 획득하거나 (b) 다수 사용자를 위하여, 광각 스테레오 카메라로부터 입력된 영상에서 사용자의 시점에 맞는 영상을 분리 획득하여 실시간으로 사용자에게 영상을 전송한다.
전송된 영상은 (1) 구글 카드 보드 및 기어 VR과 같은 모바일 스마트 디바이스 환경에서 수신 및 재생되며 또한 (2) Oculus rift와 같은 추가 디바이스를 지원한다.

A. 기술명 : 팬틸드 및 광각 스테레오 기반의 개인화된 몰입형 영상 전송 시스템 기술
- 카메라 입력 영상 외곡 제거 기술: 카메라에서 입력된 영상을 카메라 내부 파라메터를 이용하여 외곡을 제거하고 영상을 평탄화 시키는 기술
- 하드웨어 기반 실시간 영상 압축 및 전송 기술: 고해상도 영상을 GPU 기반으로 실시간 압축하여 네트워크로 원격 전송하는 기술
- 전송된 영상의 사용자 시야 맞춤 변형 기술: 입력된 영상을 개인화된 몰입형 디스플레이에 맞추어 표시하는 기술
- 수신된 영상에 대한 다중 플랫폼 재생 기술: 네트워크를 통하여 전송 받은 영상을 구글 카드보드/기어 VR/Oculus rift와 같은 다양한 플랫폼에서 재생하는 기술
- 사용자의 움직임에 따른 원격 펜틸트 모듈 실시간 제어 기술: 사용자의 움직임에 따라 원격에 위치한 펜팉트 모듈의 모터를 구동하여 적절한 영상을 획득하도록 제어하는 기술
- 사용자의 움직임에 따른 광각 영상으로부터의 해당 시점 영상 분리 기술: 사용자의 움직임에 따라 광각 영상으로부터 사용자의 시점에 맞는 영상을 분리하여 제공하는 기술
A. 기술명 : 팬틸드 및 광각 스테레오 기반의 개인화된 몰입형 영상 전송 시스템 기술
- 카메라 입력 영상 외곡 제거 기술: (소스코드: 윈도우즈/안드로이드 플랫폼)
- 하드웨어 기반 실시간 영상 압축 및 전송 기술: (소스코드: 윈도우즈 플랫폼)
- 전송된 영상의 사용자 시야 맞춤 변형 기술: (소스코드: 윈도우즈/안드로이드 플랫폼)
- 수신된 영상에 대한 다중 플랫폼 재생 기술: (소스코드: 윈도우즈/안드로이드 플랫폼)
- 사용자의 움직임에 따른 원격 펜틸트 모듈 실시간 제어 기술: (소스코드: 윈도우즈/안드로이드 플랫폼)
- 사용자의 움직임에 따른 광각 영상으로부터의 해당 시점 영상 분리 기술: (소스코드: 윈도우즈/안드로이드 플랫폼)

* 모바일 스마트 디바이스 기반의 개인화된 몰입형 원격 화상 대화 시스템
* 모바일 스마트 디바이스 기반의 개인화된 몰입형 공연(음악 콘서트, 연극 및 뮤지컬) 감상 시스템
* 모바일 스마트 디바이스 기반의 개인화된 몰입형 관람(스포츠, 아쿠아리움, 동물원) 시스템
* 모바일 스마트 디바이스 기반의 개인화된 몰입형 디지털 스포츠(드론 경주, 로봇 배틀, RC 자동차 경주) 플레이 및 참여 시스템