ETRI-Knowledge Sharing Plaform

- 본 기술은 가상훈련을 위해 다종 센서를 이용하여 사용자 자세 및 훈련 도구의 위치를 추정하고, 포인트 클라우드 기반 사용자 가상화를 지원하며, 이를 통해 가상 환경에서 훈련한 동작을 평가하는 가상훈련 플랫폼 및 콘텐츠에 사용되는 기술임
- 본 기술에서 사용하는 RGB, Depth 및 IR 마커 센싱을 위해 Azure Kinect DK를 다중(2대 이상)으로 구성하며, 이를 위해 Depth data를 기반으로 좌표계를 일치시키는 기술을 포함하고 있음
- 본 기술은 각 키넥트 센서를 통해 입력되는 데이터를 이용하여 실시간으로 사용자의 관절 위치(x, y, z)를 추정하고, 훈련 도구의 위치 및 방향을 통해 올바른 훈련 자세를 유지했는지 평가하는 기술임
* 본 기술은 기술이전 책임자와 사전에 협의된 경우에만 기술이전이 가능함

- 본 기술의 목적은 실제 훈련이 어려운 환경인 경우, 가상 환경에서 실제와 유사하게 훈련할 수 있는 가상훈련 콘텐츠 개발을 가능하게 하는 것임
- 최근 VR 콘텐츠가 증가하고 있으나 대부분 손에 든 컨트롤러에 의해 제어하는 체험 방식으로써, 훈련에 필요한 실제 도구를 인식하지 못하고, 손이나 얼굴 등 신체 일부분 정도만 가시화하는 등 사용자의 전체 모습을 보여주지 못하는 상황임
- 본 기술은 실감 가상훈련에서 중요한 사용자 자세 및 훈련 도구 위치/방향을 추정하고, 사용자를 포인트 클라우드 형태로 가상화하며, 가상훈련 자세를 평가할 수 있는 가상훈련 콘텐츠를 개발하는 데 필요함

- 본 기술은 다중 Azure Kinect DK 센서로 구성되며, 다중 키넥트에 대한 캘리브레이션(좌표계 일치)을 지원함
- 일반적으로 IR 센싱은 스테레오 방식의 IR 카메라에서 입력되는 데이터를 이용하나, 본 기술에서는 IR 픽셀과 Depth 데이터를 매핑시켜 3차원 위치를 추정하므로, 한 대의 센서에서도 3차원 위치를 추정할 수 있음
- 키넥트 한 대에서는 가려짐으로 인해 정확한 자세를 추정하기 어려우나, 다중 키넥트 구성에 따라 Depth 혹은 Depth/Joint 데이터를 기반으로 더 정확한 사용자의 자세를 추정할 수 있음
- 3차원 포인트 데이터 및 컬러 데이터를 추출하여 가상 환경에 전송함으로써 사용자에 대한 전체 모습을 가시화할 수 있음

<기술이전 내용>
ㅇ 가상훈련에 필요한 사용자 자세 추정(1 세부기술), 훈련 도구 위치 추정 및 콘텐츠 연동 기술(2 세부기술)로 구성
※ 세부기술의 기술이전은 협의가 이뤄진 경우에만 가능

1 세부기술: 다중 센서 기반 사용자 자세 보정/추정 기술
[공통 기술]
- 다중 Azure 키넥트 DK 시스템 구축 기술
: PC 1대에 1~3대의 Azure 키넥트 연결
※ 단, 다중 키넥트로 연결하는 경우 속도 저하가 발생할 수 있음
※ 서버-클라이언트 방식으로 연결 가능 (클라이언트 PC에 키넥트 연결, 획득한 데이터를 메인 PC로 전송 후 메인 PC에서 데이터 처리) - 원하는 방식으로 한 가지 선택
: 다중 키넥트 좌표계를 하나의 좌표계로 일치 (캘리브레이션 도구 사용)
※ 0번 키넥트(시리얼 번호 순) 좌표계로 맞춤
- 복수(2인 이상) 사용자 위치 추적 : 키넥트 개수 및 배치에 따라 최대 4명 지원
※ 상대방과의 관절 거리가 최소 10cm 이상 떨어져야 함
※ 사용자 수가 많아지면 가려짐이 발생하면서 노이즈 발생 가능성이 높아짐
- 인식 공간은 최대 4m x 4m 정도 수준
※ 키넥트 8대 설치했을 때 기준이며, 모서리 부분에서는 사용자 방향에 따라 일부 관절에서 노이즈 발생 가능성이 커짐

1.1 세부기술 : 다중 센서 기반 사용자 자세 보정 기술
- 각 키넥트로부터 Joint 데이터를 획득하여 가중치에 따라 관절을 통합한 후, Depth 데이터를 활용하여 관절 위치 보정
※ (장점) 키넥트 관절 데이터를 활용하므로 키넥트 수준 이상 정확도 보장, 잘못된 위치가 나오는 경우에도 빠르게 복원 가능
※ (단점) Azure 키넥트 관절 데이터 획득을 위해 고사양 그래픽 카드가 필요함
(키넥트 한 대에서 Body Tracking SDK 사용을 위한 최소 사양 : Quad Core 2.4 GHz or faster & NVIDIA GEFORCE GTX 1070 or better)

1.2 세부기술 : 다중 센서 기반 사용자 자세 추정 기술
- 각 키넥트로부터 Depth 데이터만 획득하여 Articulated ICP 방식으로 사용자 자세(관절 위치) 추정
※ (장점) Depth 데이터만 활용하므로 저사양 PC에서 30fps 수준으로 데이터 획득 가능 (키넥트 한 대에서 Depth SDK 사용을 위한 최소 사양 : Dual Core 2.4 GHz with HD620 GPU or faster)
※ (단점) 깊이 데이터가 충분히 입력되어야 하므로 키넥트 수가 많아야 하며, 포인트 추적 방식이므로 잘못된 추적 발생 가능성
※ 키넥트 연결 주의사항 : USB3.0 컨트롤러 호환성 문제

2 세부기술 : 훈련 도구 위치 추정 및 가상 스팀 세차 콘텐츠 연동 기술
- Azure 키넥트의 IR 센서와 Depth 센서를 통해 2차원 IR 마커(수동형)를 추적하고, 3차원 위치로 변환하여 훈련 도구 위치/방향 추정
※ (장점) 기존 스테레오 방식과 달리, 한 대의 키넥트로도 3차원 IR 마커 위치 추정 가능
- IR 데이터, 사용자의 3차원 포인트 샘플링 및 컬러 데이터 획득 및 전송 기술
※ 테스트용 데이터 수신 프로그램 제공
- 사용자 자세 및 훈련 도구 위치를 통한 훈련 평가 기술(스팀 분사 방향을 통해 사용 안전성 및 차량에 고르게 잘 분사했는지 확인)

<기술이전 범위>
[1.1 세부기술 ]
- SW : 가상훈련을 위한 자세 추정 프로그램 중 자세 보정 프로그램
- 특허 : 실감 인터랙션 기반 가상 스팀세차 훈련 방법 및 장치
- 기술문서 : 다중 Azure Kinect Joint & Depth 기반 관절 위치 보정 방법

[1.2 세부기술]
- SW : 가상훈련을 위한 자세 추정 프로그램 중 자세 추정 프로그램
- 특허 : 복수의 사용자의 모션을 인식하는 시스템, 장치 및 방법

[2 세부기술]
- SW : 가상훈련을 위한 콘텐츠 연동 SW
* 테스트용 가상 스팀세차 콘텐츠 실행 파일 (Unity 기반)
- 특허 : 실감 인터랙션 기반 가상 스팀세차 훈련 방법 및 장치
- 기술문서 :
적외선 마커 기반 스팀 건/스팀 걸레 위치 및 방향 추적 방법
가상 스팀 세차 훈련을 위한 적외선 마커 기반 도구 추적 방법 향상 및 분류 방법
실-가상 객체 매칭 방법

※공통자료 : 요구사항정의서, 시험절차및결과서

- 본 기술은 사용자의 자세(관절 위치)와 훈련 도구의 위치 및 방향(IR) 추정, 사용자 가상화(point & color) 기술을 통해 실감 가상 직업 훈련에 적용할 수 있음
- 각각의 기술은 통합적으로 활용할 수 있을 뿐 아니라, 훈련 콘텐츠의 필요에 따라 개별적으로 나누어서 적용할 수 있음
- 반복 훈련이 필요한 분야, 실제 환경에서 훈련이 어려운 경우 및 다양한 직업 훈련에 활용할 수 있으며, 훈련 결과를 피드백 받음으로써 훈련의 효과를 높일 수 있음