ETRI-Knowledge Sharing Plaform

메타버스 플랫폼 기술 중 하나인 XR 실감 핸드포즈 추정 기술은 가상 객체와의 상호작용을 위한 기술이며, 기존의 XR 장치에서 획득된 RGB 영상을 이용하여 손 관절을 예측하는 딥러닝 기반의 신경망 구조 및 추론 시스템이다. Convolutional Neural Network(CNN)를 기반으로 하는 시각 특징 추출기(Feature Extractor) 모듈을 사용하였고 전차 연결 및 병합 구조를 통한 특징을 정제하는 모듈, 이러한 특징을 통합하는 모듈을 사용하였고 핸드 포즈를 최종적으로 추론하는 회귀부에서는 Fully Connected Layer을 이용하는 회귀 모듈을 사용하다. 그리고 ONNX 형식으로 저장 가능한 범용 추론 시스템을 제안하였다.

단일 RGB 영상 입력만으로 손 포즈를 정밀하고 효율적으로 추정할 수 있는 신경망 구조 및 추론 시스템을 제공하며 XR 장치에 추론 모델을 포팅하여 가시화할 수 있는 시스템을 제공하는 데 목적이 있다.

- 핸드포즈 추정 방법은 실시간성이 중요한 모바일 환경에서 연산량이 낮고 구조가 단순하여 실시간 추론 가능
- 다양한 플랫폼에서 추론 가능한 범용성
- 핸드 관절인 21개의 조인트의 정점을 예측함으로써 손의 정밀한 움직임 복원 가능
- 각 기능의 모듈화 형태로 구조적으로 구분이 되어 있어 유지보수 및 확장에 용이
- RGB 영상 기반 핸드포즈 추청 모듈 제공
- 유니티 기반 핸드포즈 추정 가시화 모듈 제공
- 상용 게임엔진 Unity에서 개발하여 XR 장치와 연동할 수 있도록 제공

<기술이전 내용>
ㅇ 핸드포즈 추정 기술 추론
· XR 환경을 고려한 신경망 모델 구성
- 모바일 환경에서 구동을 위한 신경망 모델을 단순화하고 계산량을 줄이는 경량화
· 기능별 분리가 가능한 모듈화 설계
- 기능별로 분리 및 삽입이 가능하도록 설계하여 쉬운 유지보수 가능
· 손 관절 정밀한 복원 기능
- 잔차 모델(residual model)을 사용하여 서도 다른 해상도에서 추출된 특징을 유지함으로써 21개의 손가락 관련 복원 가능

ㅇ XR 장치 기반 핸드포즈 추정 기술 가시화
· 다양한 XR 장치에 적용하기 위한 범용성 고려
- XR 및 모바일 장치에 적용하기 위한 TensorflowLite와 ONNX 모델 변환
· 유니티 엔진을 이용한 XR 장치에서 영상 획득 및 전처리 기능 제공
- ARCore 기반의 영상 확득 및 신경망 모델의 입력으로 사용되기 위한 전처리인 영상 조절 기능
· XR 장치 기반의 가시화 모듈 제공
- 모바일 장치에서 입력 영상 및 3차원 손 관절을 가시화할 수 있는 기능 제공

<기술이전 범위>
ㅇ 증강현실 기반 핸드포즈 추정 가시화 프로그램 외 2종
. 핸드포즈 추정 기술 소스코드는 Python 소스코드 형태로 제공
. 핸드포즈 추정기술 가시화 소스코드는 Unity 기반의 C# 스크립트 및 리소스로 구성된 .unitypackage 형태로 제공
ㅇ “실감 XR 장치 기반 핸드포즈 추정 기술_v1.0” 요구사항정의서
ㅇ “실감 XR 장치 기반 핸드포즈 추정 기술_v1.0” 시험절차서 및 결과서
ㅇ 국방 메타버스 기반 기술 시험 결과서 (공간인식, 상호작용, 플랫폼) 외 3종 기술 문서

- (XR 인터랙션) 증강현실(AR) 및 가상현실(VR) 환경에서 사용자의 손 움직임을 실시간으로 인식하여 자연스러운 인터랙션 구현
- (HCI 분야) 모바일 디바이스나 웨어러블 기기에서 손 제스쳐를 통한 UI 제어
- (게임 및 엔터테인먼트 분야) 유니티 기반의 상용 게임엔진과 연동되어 손 제스쳐로 캐릭터 제어 및 상호작용 제공
- (로보틱스 및 원격 조작 분야) 손 관절의 정밀한 움직임을 복원하여 로봇 팔 제어, 원격 수술, 산업용 로봇 조작 등에 응용 가능