몰입 모션 체감형 플랫폼 환경에서 3차원 영상으로부터 사용자의 손동작을 정밀하게 인식함으로써, 가상의 다양한 객체들과 자연스럽게 교감할수 있는 실감 인터랙션 기술임
- 개인 몰입 착용형 기기와 모션 체험 플랫폼의 발전으로 두 기술이 융합된 형태인 몰입 체험형 콘텐츠 및 관련 기술들의 수요가 증가하고 있음. 현재 개인 몰입형 또는 모션 체험 플랫폼의 개별 콘텐츠들은 다양하게 제공되고 있지만, 융합된 형태의 콘텐츠와 가상현실 객체들과의 상호작용이 가능한 기술들은 부족한 실정임
- 몰입 체험 환경 또는 몰입 체험형 플랫폼 환경에서 몰입 콘텐츠와 체험형 플랫폼과의 연동 기술, 정밀 모션 인식 기반의 가상 객체와의 상호작용을 할 수 있는 기술을 제공할 것임. 또한 모바일 환경에서도 체험이 가능한 저사양 기반의 몰입 체험 기술도 제공함
- 연구 개발 결과물로서 산출된 “모션 체감 연동형 정밀 제스쳐 인터랙션 기술”을 가상 체험 기술 보유 또는 콘텐츠 제작 업체에 이전하여, 실용화 기술을 보급하고 새로운 형태의 몰입 체험형 가상 체험 기술의 보급에 목적을 둠
- 개인 몰입형 기기를 착용하여 360도 입체 영상을 표현함으로써 몰입감을 제공하고, 차량 탑승형 모션 플랫폼의 움직임(물리적 2축, 체감효과 3축)을 입체 영상에 동기화함으로써 실재감 있는 체감이 가능함
- 몰입 모션 체감형 플랫폼 환경에서 가상 객체와의 상호작용을 위한 정밀 손 제스처 인식이 가능하고, 새로운 콘텐츠에 적합하게 손 제스처 동작들을 생성할 수도 있음
- 사용자의 몰입도를 높이기 위해 가상현실 세계에서의 사용자 양손 움직임 추적 반영 및 가시화가 가능함
- 저사양 개인 이동형 몰입 기기에서도 몰입 체험 콘텐츠를 즐길 수 있는 모바일 기반 몰입 체험 및 손 제스처 인식 기술 제공 가능함
- 단순 몰입 체험용과 차량 탑승형 몰입 체험용 2가지 형태의 기술 테스트 콘텐츠를 선택 제공 가능함
- 콘텐츠 제작 상용툴의 플러그인 형태로 제공이 가능함
기술명 : 몰입 체험용 정밀 손가락 모션 인식 기술
A. 사용자 모션 플랫폼 연동 기반 사용자 행동 인식 기술
B. 사용자 정의형 손 동작 학습 및 인식 기술
A. 세부기술명: 모션 플랫폼 연동 기반 사용자 행동 인식 기술
- 개인 착용형 가시화 장치와 차량 탑승형 모션 플랫폼 연동 기술
· 개인 착용형 360도 입체 영상 표현 기술
· 입체 영상과 차량형 모션 플랫폼 움직임 동기화 기술
- 사용자 양손/손가락 행동 검출 및 추적 기술
· 모양 및 방향 무관 손 검출 및 추적 기술
· 다수 사용자 동시 손 검출 및 추적 기술
- 정밀 모션 기반 사용자 손 동작 인식 기술
· 정규화된 손 동작 특징 추출 기술 (손 궤적, 방향, 속도, 관절 각도)
· 학습 기반 사용자 손 동작 인식 기술 (최대 7가지)
- 사용자 양손 움직임 추적 반영 가시화 기술
· 사용자 손 스켈레톤 연동 가상 손 가시화 기술
- 동작/모션 플랫폼 기반 기술 테스트용 콘텐츠 2종 제공
· 단순 몰입 체험 환경 기반 기술 테스트용 콘텐츠
· 차량 탑승형 모션 플랫폼 연동 환경 기반 기술 테스트용 콘텐츠
B. 세부기술명: 사용자 정의형 손 동작 학습 및 인식 기술
- 일반 사용자 손 정의형 유저 인터페이스
- 사용자 유저 인터페이스 입력 기반 실시간 손 동작 학습 및 인식 기술
- 국내외 여행지를 대상으로 한 가상 여행 체험 서비스 제공 가능함
- 양방향 4D 라이더를 이용한 4D 체험관, 실내 테마파크에서 이용 가능함
- 몰입형 가상 체험을 통한 스마트 교육 콘텐츠 이용 가능함
- 현재 국내/외 몰입 체험 환경에서 모션 기반의 가상 콘텐츠 상호작용 기술을 상용화 사례가 많지 않아, 추후 개발된 기술의 상용화를 통해 다양한 형태의 몰입 모션 체감형 가상 체험 시스템을 제작할 수 있을 것이라 예상됨