High Speed, Multi-User Interaction, User interaction, VR Space, multi-user
Funding Org.
과학기술정보통신부
Research Org.
한국전자통신연구원
Project Code
17HS6300, Immersive content experience enabling multi-user interaction based on high-speed and precise tracking in an indoor VR space,
Ki-Hong Kim
Abstract
□ 연구의 목적 및 내용 o 가상과 실 상황이 융합된 실내 공간 내에서 자유롭게 이동하면서 실감형 콘텐츠와 상호작용을 통해 체험·훈련·교육 등이 이루어지는 선도적 가상현실 기반의 몰입형 실내 공간 구축 및 체험 기술 개발 ∘ 가변형 실감 체험이 가능한 몰입환경 실내 공간 구축 기술 개발 ∘ 가려짐에 강인한 사용자 및 객체 고속 정밀 추적 및 피드백 기술 개발 ∘ 자유 이동 사용자-콘텐츠간 실시간 인터랙션 기술 개발 ∘ 대규모 가상 체험 VR 데이터 변환 및 전송 기술 개발 ∘ 물리 시뮬레이션 기반 UI/UX 및 실 사용자 리타켓팅 기반 버츄얼 크리쳐 적용 기술 개발 ∘ 사용자 방향정보 추적 기반 및 콘텐츠 상황 인지형 4D효과 생성 및 제시 기술 개발 ∘ 1인칭 RGBD센서와 가림(occlusion)에 강인한 사용자 위치 및 자세 추적 기술 개발 ∘ 시계열 데이터 학습 및 사전 동작 예측을 통한 실시간 제스처 인식 기술개발 ∘ 하이브리드 센싱 데이터 연동 및 콘텐츠 통합관리 시스템 개발
□ 1차년도 연구개발성과 o 하이브리드 센서 네트워크 기반 실측 공간 정보 융합 및 실측 공간-가상공간 정합 기술 - 키넥트 및 옵티트랙 카메라 데이터 네트워크 시스템 구축 - 멀티 키넥트 카메라간 정합 및 옵티트랙 카메라 캘리브레이션 - 키넥트 좌표계 및 옵티트랙 좌표계를 기준 좌표계로 변환하여 하이브리드 센서 정합 - 실-가상 공간 정합 및 멀티 키넥트 기반 사용자 머리 추적 o 1인칭 완전 몰입 가상 환경 깊이감 휴먼팩터 측정 및 분석 기술 - 3D 입체 영상에 대한 인간의 시감각 거리 인지 특성 조사 ∙ 경험적 인지 요인과 생리적 인지요인으로 구분 ∙ 인간의 시감각 인지 현상을 100% 재현할 수 없는 HMD 및 가시화 S/W의 한계를 휴먼팩터 특성을 고려하여 보정 필요 - 파일럿 실험: HMD 사용에 따른 사용자 반응 현상 측정 및 분석 ∙ 현실과 1:1 scale로 동일한 가상 공간 구축 ∙ 가상 객체의 거리감 측정 실험을 통해 상용 HMD의 거리감 차이발생 및 보정 기술 개발의 필요성 확인 - 본 실험: 피실험자 집단 대상 현실-가상 공간 거리감 비교 측정 실험 ∙ 사용자 신체가 직접 움직이는 상황 – 네비게이션 상호작용 일반화 ∙ 신체(손)로 객체를 충돌하는 상황 – 접촉 상호작용 일반화 - 현실-가상 공간 거리감 일치 보정을 위한 제어 요소 분석 및 알고리즘 ∙ 네비게인션 상호작용 보정 알고리즘: Goal distance(cm) = 54.68 + 0.4279 x perception distance (base distance 85cm) ∙ 접촉 상호작용 보정 알고리즘: AdjustX = 0.5129 + 0.4234 OriginalX +0.1050 OriginalX2. AdjustY = 2.475 - 0.07757 OriginY - 0.01638 OriginY2 o 다시점 RGBD 영상 기반 실측 공간 객체 인식 및 위치 고속 추적 기술개발 - 컨볼루션 신경망을 활용한 다시점 RGBD 특징 추출 기법 및 분류기 학습 ∙ 사전 학습 모델을 이용한 딥러닝 알고리즘 적용 ∙ 3채널 RGB 영상으로 사전 학습된 모델을 깊이 영상에 적용하기 위하여 깊이 영상에 false coloring 기법을 적용 - RGBD 옵티컬 플로우 및 BRISK 키포인트 추출 기반 객체 추적 o 모션 슈트 기반 사용자 실시간 고정밀 global 자세 추적 및 고정밀 보정기술 - RGB-D 센서 기반 사용자 맞춤형 모션 슈트 관절 측정 ∙ 상대적 모션 센서 데이터와 IK 기반 사용자 관절 측정 ∙ 사용자별 맞춤형 자세 추정 - Inertial과 RGB-D 센서 데이터를 기반으로 한 센서 융합 관절 트래킹 ∙ 센서별 관절 추정 특성과 upper extremities geometric constraints 기반의 센서 융합 관절 트래킹 o 원근거리 멀티 센서 기반 자기 가림 현상 (Self-occlusion)에 강인한 손가락 추적 기술 - 원근거리 멀티 센서 퓨전 기반 자기 가림 현상에 강인한 손가락 추적 ∙ 멀티뷰 컨볼류셔널 뉴럴 네트워크 기반의 손가락 관절 추적 기술 확보 o 1인칭 RGBD 센서 기반 공간내 사용자 위치 추적 기술 - RGB 영상과 Depth 이미지를 결합하여 실시간으로 사용자 시점의 상대적인 취지를 추적하는 Inside-out Tracking 기술 개발 (추적속도 30fps이상) - 기존의 광학 마커 기반의 Outside-in Tracking기술과의 결합을 통해 사용자 간 가림으로 인한 일시적인 추적 실패를 극복 가능 o HMD 착용자 얼굴 캡쳐 기반 아바타 표현 기술 개발 - 가려짐에 강인한 사용자 얼굴 캡쳐 기반 아바타 얼굴 애니메이션 ∙ RGB-D 기반 사용자 얼굴 모션 예측 알고리즘 적용 o 실 객체와 가상 객체간 물리 시뮬레이션을 통한 UI/UX 제어 기술 - 실 객체-가상객체 연계를 위한 실시간 추적 가능한 실 객체 인식 기술 ∙ HSV에 기반한 특정색 검출 모듈 개발 ∙ 다각형 꼭지점과 각 코너 각도를 이용한 다각형 검출 모듈 개발 ∙ 이미지 고정밀/고속 탐지 및 매칭을 위한 Kaze 알고리즘 기반의 Feature2D 검출 모듈 개발 - 실 객체와 연계된 가상 객체 실시간 움직임 제어 기술 ∙ 실시간 사용자 팔 각도 추적 및 가상 객체 연계 모듈 개발 - 석궁(화살)과 충돌 Object를 이용한 물리 시뮬레이션 제어 기술 ∙ 힘, 발사각, 중력가속도를 이용한 포물선 운동 물리 시뮬레이션 모듈개발 ∙ Destructible Properties Matrix를 이용한 Object 충돌 제어 모듈 개발 o 시계열 데이터 학습 기반의 동작 인식 지연 감소 기술 - 제스처 모션 예측으로 영상획득, 인식 및 그래픽 렌더링 과정에서 발생하는 시간 지연을 상쇄하여, 사용자가 Delay를 인지하지 못하는 수준의 실시간 제스처 인터렉션 기능 개발 ∙ 인식 지연시간(Latency) 40msec 이내 o 사용자 방향정보 추적 기반 콘텐츠 적응형 4D 효과 제시 기술 - RGB-D영상기반 특정영역내 다수 사용자 상태정보 추적 기술 ∙ 다수 사용자 상태정보 실시간 추적 모듈 개발 ∙ 다수 사용자 상태정보에 따른 상황인지형 모듈 개발 - 유/무선 고속통신이 가능한 4D 효과 제시 기술 ∙ 아두이노기반 송풍콘트롤 모듈 개발 o PC/모바일 VR 체험 장치 간 가상 콘텐츠 스크립트 변환 기술 - 개별 VR 기기 전용 SDK들 사이의 변환 기능 을 고려한 스크립트 변환기술 설계 - 저작도구 플러그인 방식의 사용자 인터페이스 개발 - VR 리소스 변환 모듈 개발 - VR 스크립트 변환 모듈 개발 o 몰입 콘텐츠를 활용한 360도 영상 콘텐츠 생성 기술 - 몰입 체험을 위해 개발된 가상현실 콘텐츠를 360도 동영상으로 변환하여 현장 및 원격지에 존재하는 다수의 사용자들에게 현재 체험중인 콘텐츠 내용을 임의 시점에서 관찰할 수 있도록 제공 - 개발된 기술은 차후 실사 기반 사용자 영상을 합성하여 실-가상 정합 360 영상 콘텐츠를 개발하는데 필요한 기반 기술로서 최종적으로 VR체험 콘텐츠의 홍보 및 콘텐츠 재사용을 극대화하는데 활용될 예정임 o 외부획득정보변환 및 VR콘텐츠이벤트 전송 기술 - 외부획득정보 전송 속도 (목표치 : 0.2초 이내 달성) ∙ Optitrack-UWB-kinect2 3종 센서의 결합센싱정보가 사용자 단말에 도달하는 속도를 측정하여 목표치 도달여부 테스트 ∙ Optitrack-UWB 멀티센싱 : Optitrack의 가림현상 대응을 위한 테스트 ∙ Optitrack-Kinect2 멀티센싱 : 특정영역 내에서 제스처/표정 센싱 시나리오 구현을 위한 테스트 - VR 콘텐츠 이벤트정보 전달 속도 ∙ 공간내 4D 효과를 다양하게 적용하기 위해 3종 이펙트 장비(포그머신(향기), 바람(에어커튼), 바닥진동)을 대상으로 이벤트정보 전달 속도를 테스트 - 3종 장비 테스트 결과 전달속도 목표치 (0.2초)는 달성했으나 실제 사용자가 4D효과를 체감하기까지 소요되는 시간은 장비별 편차가 있으며 0.5~2.0초로 개선이 요구됨 - 해당 개선사항은 2차년도에 장비의 물리 제원을 개선하고 사용자시나리오는 변경함으로써 해결할 예정
□ 2차년도 연구개발성과 o 실측 공간내 환경변화 추적 기반 실 환경-가상 환경 정합 기술 - 실-가상 비강체 정합 ∙ 실 객체 Pointcloud와 가상 객체 Mesh의 Scale, Translation, Rotation 변환을 통한 좌표계 정합 ∙ 비강체 Iterative Closest Point 알고리즘 기반 Mesh 정합 - 제어점 기반 Mesh 변형 ∙ Moving Least Squares 알고리즘 기반 2차 다항식 근사 Mesh Vertex Interpolation o 완전 몰입/투시 환경 기반 가상-현실 공간감 휴먼팩터 일치 최적화 기술 - HMD 착용시 자기 중심의 시각적 거리감 인지 관련 휴먼팩터 측정 설계 ∙ 약 1미터 이내의 근신공간(near body space) 거리 안의 3차원 객체를 조작(matching task)하는 경우를 중심으로 거리감에 영향을 주는 요소 탐색 - 시장을 대표하는 복수 개의 3D VR 게임엔진 S/W 및 HMD H/W로 피실험자 인지 측정 플랫폼 구축 및 실험 진행 ∙ Unity 5 및 UnrealEngine4와 Oculus Rift CV1, HTC VIVE 및 PiMax HMD를 중심으로, 거리감 인지 측정 실험 설계 및 다수 피실험자 대상 실험 진행 - 임의의 HMD 콘텐츠 대상 가상-현실 거리감 보정을 위한 S/W 모듈개발 ∙ Unity 5 및 UnrealEngine4 거리감 일치 보정 가이드 및 플러그인 모듈 개발 o 가려짐에 강인한 동적 객체 인식 및 변화 추적 기술 - Depth 정보 기반 동적 객체 영역 분할 기술 ∙ 깊이 영상의 에지로부터 distance transform으로 마커 추출 및 watershed 알고리즘 적용 ∙ 고정 RGB-D 센서 기준 동적 객체의 3차원 위치 입력 기반 동적 객체영역 분할 - RGB 영상 기반 사용자 영역 분할 기술 ∙ 딥러닝 기반 객체 검출 및 영역 분할 기술인 Fully Convolutional Instance-aware Semantic Segmentation 기법 적용하여 사람 영역 분할 - RGB 및 Depth 정보 융합 가려짐에 강인한 동적 객체 영역 분할 기술 ∙ Depth 기반 객체 영역으로부터 RGB 기반 사용자 영역을 제거하여 사용자가 제외된 객체만의 영역 분할 ∙ 가려짐으로 부족한 객체 영역은 다시점 영상을 융합하여 최종 동적 객체 영역 분할 결과를 획득함 o 모션 슈트 기반 continuous 전신 햅틱 렌더링 기술 - Impulse force(총알 관통 효과)와 moving feedback을 위한 실감 피드백 액츄에이터 모듈 구현 완료 (100%) ∙ 응답 특성 및 실감 impulse force 효과를 고려한 액츄에이터 구현 ∙ Array 형태의 LRA 액츄에이터 기반 중첩 생성 피드백 모듈 구현 - 바디 감각 수용체 특성별 햅틱 피드백 모듈 구현 ∙ 신체 penetration 및 moving 효과를 위한 바디 감각 수용체 특성을 극대화하는 피드백 모듈 구현 ∙ 피드백 독립 UI와 unreal engine에 적용되는 플러그인 형태로 구현 o 물리적 객체 조작 상황(Object manipulation)에서의 손가락 추적 기술 - 멀티뷰 컨볼루셔널 뉴럴 네트워크 구조 변경을 통한 정확도 향상 ∙ 하이퍼 파라미터 그리드 탐색을 통한 네트워크 구조 최적화 ∙ 객체 조작 상황 데이터베이스 활용과 네트워크 앙상블 방법 적용을 통한 반복적 네트워크 성능 테스트 (위치 오차 10mm 목표) o Outside-in & Inside-out 추적 융합 기반 가림(occlusion)에 강인한 사용자 위치 및 자세 추적기술 - RGBD 센서 기반 1인칭 3차원 위치/자세 추적 엔진 개발 ∙ 영상 및 깊이(depth) 센서 데이터를 동시에 활용하여 사용자의 위치를 외부 센서가 잃어버린 경우 다시 찾을때 까지 잃어버린 순간부터 스스로 사용자의 위치를 추적하는 기술 ∙ 외부 센서를 통한 추적에 보조적인 역할로서 공간내 절대적인 위치가 아닌 위치를 잃어버린 순간부터 상대적인 위치만을 실시간 추적 - 멀티 센서 좌표축 캘리브레이션 ∙ 일정 길이의 동기화한 데이터 이용해 좌표축 이동에 필요한 회전, 평행 이동 값 계산 - 센서 융합을 통한 가림에 강인한 사용자 위치 및 자세 추적 ∙ 칼만필터를 적용하여 가림이 발생 하는 경우 좌표축 캘리브레이션이 완료된 Inside-out 트래커 정보를 활용해 데이터 교정 o 실 사용자 리타켓팅 기반 버츄얼 크리쳐 적용 기술 - 사용자 행동 및 객체 변화에 따른 가상 크리쳐 실시간 행동 제어 ∙ 사용자 행동 기반 크리쳐 target mimicking motion 예측 ∙ 수학적 모델 기반 Sub-bone 움직임 표현 o 실세계 사용자 및 객체 변화에 따른 크리쳐 실시간 행동 제어 기술 - 크리쳐 실시간 행동 제어를 위한 크리쳐 성격 엔진(NPCP Engine) 기술 개발 ∙ 5가지 성격 특성 요소(Big Five Factor Model) 기반 크리쳐 성격 엔진 알고리즘 개발 ∙ 크리쳐 성격 엔진 편집 인터페이스 기능 개발 ∙ 크리쳐 성격 엔진기반 크리쳐 실시간 행동 제어 기술 개발 ∙ 크리쳐 성격 엔진기반 크리쳐 실시간 행동 제어 기술 개발 - 인터랙션 및 이벤트에 기반한 크리쳐 실시간 행동 제어 기술 개발 ∙ 실세계 사용자 모션 분석/입력 및 가상 객체 연동 기술 개발 ∙ 사용자 인터랙션 및 이벤트에 따른 크리쳐 행동 제어 기술 개발 o 사전 동작 예측을 통한 실시간 제스처 인식 기술 - 연속적인 Hand Tracking 데이터로 제스처 인식 기술 개발 ∙ 연속적인 Hand Tracking 데이터에 대한 모션 및 예측 수행으로 제스처 인식 지연 감소 (30ms 이내) ∙ 3종 이상의 제스처 기반 VR 체험 인터렉션 기능 개발 o 콘텐츠 상황 인지형 4D효과 생성 기술 - 감각자극 4D효과 생성 시뮬레이터 개발 ∙ 블로어/온냉장치/발향기(3종)/1축시뮬레이터 개별 모듈 패키지화 설계 및 개발 ∙ 통합 제어 보드 및 모듈 설계 및 개발 - 콘텐츠 상황 인지형 4D 효과 시스템 저작 플러그인 제어 기술 ∙ 4D 효과 생성 시뮬레이터 연동 인터페이스 기능 개발 ∙ 가상공간의 객체 및 이벤트 통합 관리 기능 개발 ∙ 가상공간의 객체 및 이벤트와 4D 효과 매핑 기능 개발 o 이종 VR 체험 장치 간 가상 콘텐츠 구동 환경 변환 기술 - Bridge 기반 Cross Platform VR 체험장치 기술 개발 ∙ 기존의 Script를 분석하여 코드 자체를 변경하는 방식이 아닌 코드는 그대로 두고 해당 코드가 호출하는 내부 VR 기능을 타 VR 기기에서도 동작하도록 상호지원하는 Bridge 방식의 Cross Platform VR 지원 기술 개발 - 이종 VR 체험 장치간 가상콘텐츠 구동환경 변환이 가능한 Bridge 방식 VR 저작도구 플러그인 개발 ∙ 대표적인 VR저작도구인 Unreal, Unity3D 엔진에서 구동환경 변환을 수행할 수 있도록 Plugin을 개발하고, 사용자 정의 Mapping을 수행할 수 있는 GUI 적용 o 오픈플랫폼 VR 콘텐츠-몰입VR콘텐츠 seamless 합성 기술 - 콘텐츠를 체험중인 사용자의 실사 영상을 획득하여 몰입 VR 환경과 크로마키 기반의 합성을 실시 ∙ 체험 공간 내 사용자 트래킹 및 사용자 실사 영상 취득용 카메라 좌표계를 위한 공간 좌표계와 몰입 콘텐츠의 가상 카메라를 일치시키기 위한 켈리브레이션 작업을 실시 ∙ 상용 카메라를 이용한 실사 영상 획득 및 크로마키 기반의 실사 영상합성용 언리얼 엔진용 플러그인 개발 o 모듈별 콘텐츠 업데이트&모니터링 기술 - 콘텐츠통합관리시스템 개발 ∙ 3팀 6인 동시체험을 위한 다중 서버 동시 구동 ∙ 하드웨어 전원/모니터링, SW 모니터링/on,off 등 기본 관리 기능 ∙ 사용자체험정보 통계 ∙ 키오스크기반 체험전후 시나리오 연동 기능 ∙ 태블릿기반 대시보드형 운영관리 인터페이스 - 사용자 모니터링 기능 ∙ 웹캠기반 실체험환경 녹화/전송/저장 기능 ∙ 3인칭 카메라 기반 가상환경내 사용자 촬영/녹화/저장/전송 기능
□ 연구개발성과의 활용계획 (기대효과) < 활용계획 > o (체감형 테마파크 분야 활용) 사용자의 고정밀 실시간 추적 기술과 가상 객체 복원 기술 개발을 통하여 실사와 가상이 혼용된 체감형 가상현실 콘텐츠를 게임 및 테마파크에 적용 o (재난 및 안전 훈련 분야 활용) 실제 공간에 임의의 가상 상황을 연출하여 재난 대응 및 안전 훈련 체험을 실시할 수 있는 실감 가상 재난 대처 및 안전 훈련 서비스에 활용 o (모의 전투 훈련 분야 활용) 기존의 가상 환경에서 수행하는 국방, 경찰 전투,침투 훈련을 확장하여 실제와 가상의 실습 환경으로 꾸며진 실내 환경에서 진행하는 실감 훈련 서비스에 적용 o (실-가상공간 연계형 쇼핑/마케팅에 활용) 오프라인 스토어의 제품 다양성 부족을 극복하고 온라인 스토어의 체험 불가 문제를 해결하는 실-가상 정보 연계형 실내 실감 쇼핑 서비스에 활용 o (원격지 연동 몰입형 전시관/박물관/홍보관 및 스포츠에 활용) 원격지의 공유몰입형 인터랙티브 기술에 의해 가상공간에서 전시물을 감상하거나 실감 체험 스포츠 서비스에 활용
< 기대효과 > o (세계 시장) 가상현실 게임, 가상 스튜디오, 스포츠 체험, 원격 화상회의 등 다자 참여형 공간을 기반으로 하는 광범위한 실감 체험 콘텐츠 분야에서의 글로벌 대형 시장 선점 가능 o (국내 시장) 국내 가상현실 산업 규모는 ‘14년 6,768억원에서 연평균 40%의 높은 성장 속에 ’20년 6조원 시장을 형성할 것으로 기대되며 본 연구개발 결과는 국내시장 성장에 기폭제 역할을 할 것으로 전망 o (시장 창출) 원격지에서 여러 명의 사용자가 가상의 공유 공간에서 체험과 경험을 공유할 수 있는 차세대 도심형 디지털 테마파크 시장 창출 및 활성화 전망
(출처 : 요약문 7p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.