RGB 영상으로부터 사용자의 손 움직임을 추적하는 기술로써 PC(웹캠), 스마트폰, AR 글래스 등 카메라 이미지를 입력으로 받을 수 있는 다양한 장치를 지원한다. 저성능의 모바일 AP에서도 실시간 동작하며, 추정된 3차원 손가락 관절 값을 기반으로 제스처를 인식하고 그 결과를 장치 특성에 맞춰 디스플레이에 증강한다. 또한, Microsoft MRTK와의 연동을 통해 핸드 인터랙션 기반 XR 콘텐츠 개발을 지원한다.
손 자세 추정부터 제스처 인식, 가상 UI/객체 조작까지 핸드 인터랙션이 필요한 다양한 분야의 어플리케이션을 RGB 카메라만을 이용하여 제작할 수 있도록 지원하는 데 그 목적이 있다.
- RGB 카메라 한 대만을 이용한 양손 검출 및 3차원 손 자세 추정 결과 제공
- 장치 특성에 따른 손 자세 추정 결과의 증강 및 제스처 인식 기능 제공
- 손가락이 가려지는 부분이 많은 1인칭(Egocentric) 시점에 대해서도 강인한 성능
- PC뿐만 아니라 저성능의 스마트폰 및 AR 글래스에서도 실시간 동작
- 상용 게임엔진 Unity의 플러그인(Package) 형태로 제공 및 Microsoft MRTK와의 연동을 통한 XR 인터랙션 앱 개발 지원
<기술이전 내용>
ㅇ RGB 영상 기반 손 자세 추정 기술
- 개별 장치 특성을 반영하여 RGB 카메라 영상을 손 자세 추정 딥러닝 모델 입력 텍스처로 변환하는 기능
- 손 타입 분류, 손 영역 검출, 손 관절 위치 추정을 동시에 수행하는 딥러닝 모델을 통해, 양손 각 21개 관절의 3차원 자세 추정값을 제공하는 기능
ㅇ 손 자세 가시화 및 제스처 인식 기술
- 추정된 손 자세의 1) 축 변화를 가시화, 2) 관절과 뼈를 각각 구/캡슐 형태로 가시화 3) 메쉬(Mesh)로 가시화 4) 비가시화하는 기능
- 손 자세 추정 결과를 기반으로 정적 제스처(Open, Point, Pinch, Fist, ThumsUp, Victory, BangBang, System) 및 동적 제스처(Swipe, Circle)를 인식하는 기능
ㅇ 멀티 디바이스 지원 및 Microsoft MRTK 연동 기술
- PC(웹캠), 스마트폰, AR 글래스의 RGB 카메라 영상을 입력으로 받아 장치 특성을 반영한 손 움직임 추적 결과를 디스플레이에 증강하는 기능
- 저성능의 모바일 AP에서도 실시간 손 움직임 추적 결과를 제공하는 기능
- Microsoft MRTK와의 연동을 통한 핸드 인터랙션 기반 XR 콘텐츠 개발을 지원하는 기능
<기술이전 범위>
ㅇ 프로그램 : 멀티 디바이스 지원 RGB 영상 기반 손 추적 도구
- RGB 영상만으로 3차원 손 자세를 실시간으로 추정하고, 제스처 인식 및 XR 콘텐츠와의 상호작용을 지원하는 기술
- 소스코드는 Unity 기반의 C# 스크립트 및 리소스로 구성된 .unitypackage 형태로 제공
- 핸드포즈 추정 딥러닝 모델은 Tensorflow Lite 파일로 제공되며 .unitypackage 내부에 탑재
ㅇ 요구사항정의서
ㅇ 시험절차 및 결과서
ㅇ 핸드 포즈 추정 모듈 실행 가이드
- (비접촉식 가전/기계 제어) RGB 카메라만을 이용하여 핸드 제스처를 인식함으로써 원거리에서 손동작만으로 IoT 기기 및 HUD 기반 차량 시스템 등을 제어하는 솔루션 구축 가능
- (인터랙티브 미디어 월, 미디어 아트) 뎁스(Depth) 카메라를 포함하는 다수 카메라 센서로 운용되는 기존 시스템을 RGB 카메라 한 대만으로 가능케 함으로써 가격 경쟁력 제고 가능
- (VR/AR 인터랙티브 어플리케이션) 기존 컨트롤러 기반의 상호작용을 핸드 제스처 기반의 인간 친화적인 상호작용으로 대체하여 제품의 편의성 및 실용성 향상 가능
- (메타버스 기반 실감 콘텐츠) 실-가상 공간정보가 연결되는 메타버스 환경에서 사용자와 가상 UI/객체 간의 자연스러운 상호작용은 필수 요소이며, 최근 급성장 중인 실감형 원격 교육, 체험형 게임, 스마트 팩토리 등 다양한 응용 서비스 분야에 적용 가능