ETRI-Knowledge Sharing Plaform

본 기술은 기존의 소규모 군 전술 시뮬레이터 및 상용게임 SW와 연동하여 훈련자가 360도로 투영되는 대형스크린속 가상공간을 360도 전 방향으로 이동이 가능한 이동장치위에서 보행과 사격등 체력과 전술을 동시에 훈련할 수 있는 가상훈련 시스템 개발에 필요한 요소 기술
특수부대원들이 사전에 경험할 수 없는 예상 작전지역에 대해 실전과 훈련을 가상공간에서 수행할 수 있는 특수 전 가상훈련 시스템 개발에 필요한 요소 기술

o 본 기술은 ETRI 연구개발지원사업으로 수행한 “병사들에게 실전과 같은 가상훈련 환경을 제공하기 위한 전 방향 이동 지원 상호작용 소프트웨어 기술 개발” 과제에서 개발된 기술을 희망하는 업체로의 이전을 통해 다양한 군수 및 민수분야에 적용 및 확산을 목적으로 함

o 가상훈련시스템, 재활의료 시스템, 차세대 게임산업, 전시 산업등 관련 분야의 국내 산업체의 대외 경쟁력을 확보하는 한편 산업 활성화에 기여하는 것을 목적으로 함.

o 개발기술은 총 4개의 기술로 구성되어 있으며, 각 기술의 특징은 다음과 같다

1) 다중 깊이센서 기반 훈련자/무기 자세추적 기술
- 전 방향 이동 장치 위에서 훈련하는 병사의 자세 및 움직임을 360도 모든 방향에서 인식하기 위하여 다수(최대 6대)의 깊이센서(키넥터 2 Kinect v2) 정보를 융합하여 훈련자의 스켈레톤 자세를 실시간으로 추적하는 기술
- 전 방향 이동 장치위에서 훈련하는 병사가 사용하는 무기(소총, 권총)의 탄착지점을 추정하기 위하여 무기에 IR 마커바를 부착하여 Kinect 센서로 무기의 자세를 인식하는 기술

2) 다중 모션센서 기반의 훈련자/무기 정밀자세인식 기술
- 전 방향 이동 장치위에서 훈련하는 병사의 자세 및 움직임을 360도 모든 방향에서 인식하기 위하여 모션센서를 전신(17개) 또는 하반신(7개)에 부착하여 훈련자의 스켈레톤 자세를 실시간으로 추적하는 기술
- 다수의 깊이센서로 부터 획득한 훈련자의 스켈레톤 자세정보와 모션센서로부터 획득한 훈련자의 스켈레톤 자세정보를 융합하여 보다 안정적이고 정밀한 훈련자의 스켈레톤 자세를 실시간으로 추적하는 기술
- 전 방향 이동 장치위에서 훈련하는 병사가 사용하는 무기(소총, 권총)의 탄착지점을 추정하기 위하여 무기에 부착한 단일 모션센서를 활용하여 훈련자의 스켈레톤 정보와 융합하여 무기의 정밀 자세를 인식하는 기술

3) 훈련자 위치인식 기술
- 전방향 이동장치 위에서 보행하고 있는 훈련자의 위치와 이동거리를 인식하는 기술
- 전방향 이동장치위에서의 이동한 거리 및 방향과 가상현실 콘텐츠내에서의 이동한 거리 및 방향을 동기화하기 위한 훈련자 스켈레톤 보행 분석을 통한 위치인식 기술

4) 스켈레톤 기반 실시간 행동인식 기술
- 키보드/마우스 조작 대신 훈련자의 스켈레톤 정보를 기반으로 훈련자의 행동을 인식하여 상용 FPS 게임 및 훈련 콘텐츠의 아바타를 제어할 수 있는 훈련자 실시간 행동인식 기술
- 다중 기계학습기를 활용하여 훈련자의 행동을 사전에 학습하고 실시간으로 행동을 인식할 수 있는 기술

A. 기술명 : 다중 깊이센서 기반 훈련자/무기 자세추적 기술
- 다중 깊이센서(Kinect v2) 융합을 통한 훈련자의 전방향(360°) 자세추적 기능
- 훈련자 자세추적 정확도(RMSE) 15cm 이내
- 다중 깊이센서 중앙제어를 위한 통합운용 프레임워크
- IR 마커기반 자동 캘리브레이션 및 무기류 인식/추적 기능


B. 기술명 : 다중 모션센서 기반의 훈련자/무기 정밀자세인식 기술
- 복수개의 모션센서 기반의 전신(17개) 또는 하반신(7개)의 스켈레톤 추적기술
- 전방향 이동장치 제어 및 가상현실 콘텐츠 내의 아바타 표현에 필수적인 관절별 자세값(Roll, pitch, yaw) 추정
- 훈련자 관절별 자세와 신체구조
- 깊이센서와 모션센서에서 생성된 독립적인 필터로 융합하여 보다 안정적인 스켈레톤 생성
- 스켈레톤/모션센서 융합 기반 360도 전방향 총기류 자세인식 기술

C. 기술명 : 훈련자 위치인식 기술
- 전방향 이동장치 위에서 보행하고 있는 훈련자의 위치와 이동거리를 인식하는 기술
- 전방향 이동장치 환경내에서 트레드밀 위에서의 이동과 가상현실 콘텐츠내에서의 이동을 동기화 하기 위한 훈련자 스켈레톤 기반의 위치인식 기술
- 스켈레톤에서 추출된 양 발의 이동궤적을 추적하여 실제 이동거리와 속도 계산

D. 기술명 : 스켈레톤 기반 실시간 행동인식 기술
- 키넥트 및 모션센서로부터 추출된 스켈레톤(각 관절의 위치, 자세 등) 정보를 이용하여 훈련자의 행동 패턴을 학습
- 훈련자의 복합 행동(보행+동작) 인식에 효율적인 다중 분류기 지원
- 실제 병사 훈련을 통해 나타나는 다양한 전술 행동(60종 이상)을 실시간 인식
- 키보드/마우스 조작 대신 훈련자의 행동인식을 통해 상용 FPS 게임 및 가상 훈련 콘텐츠의 아바타를 제어하는 몰입형 게임연동 인터페이스
A. 기술명 : 다중 깊이센서 기반 훈련자/무기 자세추적 기술
- 다중 깊이센서 기반 자세추적 CSCI 상세설계서
- 다중 깊이센서 기반 자세추적 CSCI 시험절차서/결과서
- 다중 깊이센서 기반 자세추적 CSCI v2.0 프로그램
- IR 마커기반 자동 캘리브레이션 및 무기류 인식/추적 프로그램

B. 기술명:다중 모션센서 기반의 훈련자/무기 정밀자세인식 기술
- 다중 모션센서 기반 훈련자 정밀자세 인식 상세설계서
- 다중 모션센서 기반 훈련자 정밀자세 인식 시험절차서/결과서
- 다중 모션센서 기반 훈련자 정밀자세 인식 프로그램
- 스켈레톤/모션센서 융합 기반 360도 전방향 총기류 자세인식 프로그램

C. 기술명 : 훈련자 위치인식 기술
- 전방향 이동장치 환경에서의 위치인식 상세설계서
- 전방향 이동장치 환경에서의 위치인식 시험절차서/결과서
- 전방향 이동장치 환경에서의 위치인식 프로그램


D. 기술명 : 스켈레톤 기반 실시간 행동인식 기술
- 훈련자 행동분석 CSCI 상세설계서
- 행동분석 CSCI를 위한 시험절차서/결과서
- 행동인식 기술 v1.0 프로그램

ㅇ 개발기술은 국방, 경찰청등 특수작전 가상훈련시스템, 재난재해 가상훈련 시스템, 차세대 게임, 가상환경 쇼핑, 가상환경 관광, 병원 재활훈련 시스템, 스포츠분야 시뮬레이터, 전시산업 분야등 다양한 분야에 적용 가능할 것으로 판단됨.

ㅇ 기존의 HMD 기반의 가상현실 HW와 가상현실 콘텐츠분야는 국가적 기술경쟁력이 높지 않는 것으로 판단이 되며, 제안 기술은 2~3년 후 본격적인 시장이 형성될것으로 예상되는 다양한 차세대 가상현실 분야 산업의 국가경쟁력을 확보할 수 있을것으로 기대됨.