ETRI-Knowledge Sharing Plaform

VR (Virtual Reality) 콘텐츠 제작 엔진과는 무관하게 HMD (head-mounted display)에 렌더링 및 디스플레이되는 양안영상 (좌/우 스테레오스코픽 영상) 또는 VR 콘텐츠 녹화 영상에서 특징점을 추출, 기계학습 기반으로 VR 멀미를 예측하고 가시화 하는 기술

배포버전으로 기 완성된 VR 콘텐츠의 멀미 수준을 영상만으로 정량적으로 예측하고 객관화함으로써 서비스 제공자 및 시청자로 하여금 사전 멀미도 확인을 통해 VR 콘텐츠 이용에 따른 인체 안전성 보장을 목적으로 한다.

- VR 콘텐츠 제작에 사용되는 그래픽엔진(유니티 또는 언리얼 등)에 상관없이, VR 구동에 따라 녹화된 VR 동영상을 입력으로 VR 멀미를 예측 및 분석 가능
- 사용자 200명 이상의 임상데이터를 기반으로 VR 멀미도 예측의 신뢰도는 80% 이상

<기술이전 내용>
ㅇ 온라인 VR 콘텐츠 인터페이스 기술
- HMD 연결을 위한 기기 간 인터페이스 제어 및 영상 캡쳐 시점 설정 기술
- HMD 렌더링 영상 캡쳐 및 시퀀스 이미지 저장 및 멀미 예측 모듈 연동 기술
- HMD 캡쳐 영상의 가시화/재생 관련 인터페이스 기술

ㅇ 오프라인 VR 콘텐츠 인터페이스 기술
- 영상 시퀀스 이미지 파일 리스트 및 재생 순서 관리 기능
- 영상 시퀀스 파일 로드 및 멀미 예측 모듈 연동 기술
- 영상 시퀀스의 가시화/재생 관련 인터페이스 기술

ㅇ 영상 기반 VR 멀미 예측 기술
- 입력으로 들어오는 이미지의 크기 조절, crop을 비롯한 각종 전처리 수행 기능
- 온라인/오프라인 모드에 대해 영상 데이터를 입력으로 받아 VR멀미 특징점 추출
- 기 200명 이상의 임상 피험자를 통해 지도학습 된 멀미도 예측 모듈이 특징점을 바탕으로 정량적 멀미도를 예측하는 기능
- 예측 VR멀미도를 그래프로 도시하며 대표값을 표시

<기술이전 범위>
- 가상현실 영상콘텐츠의 멀미 예측 및 가시화 프로그램 소스파일
* HMD 연결 시 온라인 모드가 동작하여 HMD에 렌더링되는 영상을 기반으로 정량적 VR 멀미를 도출
* 영상 시퀀스 로드 시 오프라인 모드가 동작하여 저장된 영상을 기반으로 정량적 VR 멀미를 도출
* 가시화 GUI 소스코드는 MFC 라이브러리를 이용한 C++ 언어로 제공
* VR 멀미 예측을 위한 학습 모델은 Python pickle 라이브러리를 이용한 .pkl 확장자의 바이너리 형태로 제공

- 요구사항정의서 등

VR 테마파크, 전시회를 비롯하여 심리치료, 중독치료, 교육, 훈련 등 모든 종류의 VR 콘텐츠에 호환되어 동작함으로써, 각종 VR 서비스에서의 멀미에 따른 이용 안전 지침 확보및 등급 분류에 활용이 가능하다.