화상 카메라, 모바일 단말 혹은 AR 글래스의 단일 RGB 영상만을 이용하여 다중 사용자의 손 자세를 추정하는 기술이다. 저전력/저성능의 모바일 AP에서도 동작하며, 추정된 3차원 손가락 관절 값을 기반으로 제스처를 인식하고 AR 콘텐츠와의 인터랙션을 지원하는 기능을 포함한다.
간단한 손 영역 인식부터 제스처 기반 가상 UI/객체 조작까지 핸드 인터랙션이 필요한 다양한 분야의 어플리케이션을 단일 RGB 카메라만을 이용하여 제작할 수 있도록 지원하는 데 그 목적이 있다.
- 일반 RGB 카메라 한 대만을 이용한 양손 영역 검출 및 3D 손 자세 추정 결과 제공
- 손이 가려지는 영역이 많은 1인칭(Egocentric) 시점에 대해서도 강인한 성능을 보유
- 하나의 영상 내의 다수 사용자 손을 일정한 속도로 동시에 추적 가능
- PC뿐만 아니라 저전력/저성능의 모바일 단말 및 AR 글래스에서도 동작
- 상용 게임엔진 Unity의 Plug-in (Package) 형태로 제공 및 Unity UI/객체와의 상호작용을 지원
<기술이전 내용>
ㅇ 단일 RGB 영상 기반 손 자세 추정 기술
- 장치의 단일 RGB 영상을 손 자세 추정 딥러닝 모델 입력 텍스처로 변환하는 기능
- 손 타입 분류, 손 영역 검출, 손 랜드마크 회귀를 동시에 수행하는 딥러닝 모델을 통해, 다수 사용자의 각 21개 손 관절 3차원 위치 추정 값을 제공하는 기능
ㅇ 손 자세 가시화 기술
- 추정된 손가락 관절의 축 변화를 구로 가시화하는 기능
- 추정된 손가락 관절을 구로 표현하고 뼈를 캡슐로 가시화하는 기능
- 추정된 손 전체 영역을 메쉬(Mesh)로 가시화하는 기능
- 추정된 손가락 관절을 비가시화하는 기능
ㅇ 손 자세 기반 제스처 인식 기술
- 추정된 손 자세를 기반으로 다수의 정적 제스처(Open, Point, Pinch, Fist, ThumsUp, Victory, BangBang) 및 동적 제스처 (Swipe, Circle)를 인식하는 기능
- 인식된 제스처를 기반으로 가상 UI와 이벤트 처리가 가능한 인터랙션 기능
- 인식된 제스처를 기반으로 가상 객체를 조작 가능한 인터랙션 기능
<기술이전 범위>
ㅇ 단일 RGB 영상 기반 손 움직임 추적 및 증강 프로그램 소스파일
- 단일 RGB 영상만으로 1인칭 시점에서도 강인한 사용자 손가락 관절의 3차원 위치를 추정하고, 제스처 인식 및 AR 콘텐츠와의 인터랙션을 지원하는 기술
- 소스코드는 Unity 기반의 C# 스크립트 및 리소스로 구성된 .package 형태로 제공
- 핸드포즈 추정 엔진은 Tensorflow Lite 모델 형태로 제공 및 .package 내부에 탑재
ㅇ 기술 문서
- 요구사항정의서
- 시험절차 및 결과서
- 비접촉식 가전/기계 제어: 단일 RGB 카메라만을 이용하여 핸드 제스처를 인식함으로써, 원거리에서 손동작만으로 스마트홈 및 HUD 기반 차량시스템 등을 제어 가능한 솔루션 구축 가능
- 인터랙티브 미디어 월/미디어 아트: 뎁스(Depth) 카메라를 포함하는 다수 카메라 센서로 운용되는 기존 시스템을 단일 RGB 카메라만으로 가능케함으로써 제작 솔루션의 가격 경쟁력 제고 가능
- VR/AR 인터랙티브 어플리케이션: 기존 컨트롤러 기반의 불편한 상호작용을 핸드 제스처 기반의 인간 친화적인 상호작용으로 대체하여 접근성 및 실용성 향상 가능
- 실-가상 공간이 연결되는 메타버스에서 사용자와 가상 객체간의 상호작용은 필수적인 요소이며, 최근 급성장 중인 실감형 원격 교육, 체험형 게임, 스마트팩토리 등의 다양한 응용 서비스 분야에서 활용 가능
- 단일 RGB 카메라를 탑재한 다양한 장치 (모바일 단말, VR헤드셋, AR글래스 등) 상에서 핸드 제스처 기반의 인터랙션 기능 개발 가능