카메라 전면에서 자유롭게 움직이는 사용자를 단일 카메라로 촬영한 한 장의 RGB 영상만을 이용해 사용자 얼굴 주요 부위의 3D 특징점, 3D 헤드포즈, 3D 헤딩방향, 3D 응시방향을 포함하는 얼굴의 3D 정보를 딥러닝 기반 AI 추론으로 실시간 검출하는 SW 기술
단일 카메라의 RGB 영상만을 이용하여 카메라 전면에서 움직임 제약 없이 자유롭게 움직이는 사용자들의 얼굴 특징, 공간 내 위치, 자세, 시선 등의 정보를 저비용, 고효율, 고정밀로 실시간 수집하고 분석
컴퓨터가 사람을 인식하거나 사람의 행동을 분석하거나, 사람과 상호작용하기 위해서는 사람의 움직임을 구속하지 않는 자연스러운 상태에서 비접촉 기반으로 사용자를 인식하고 행동을 분석, 의도나 관심도를 파악할 필요가 있음
- 카메라 전방의 카메라 가시공간 내 얼굴이 식별되는 다중 사용자의 개별 얼굴에 대해 공간정보와 연동한 고정밀 3D 정보 검출 가능
- 사용자의 자유로운 움직임을 허용한 상태에서 안정적 동작 가능
- 저조도 환경을 포함한 조명환경 변화 강인한 동작 가능
- 웹캠 등 640x480 해상도 이상의 저가형 단일 RGB 카메라 사용만으로 동작
- Multi-task CNN 기반 AI 추론으로 얼굴의 3D 특징점, 3D 헤드포즈, 3D 헤딩방향, 3D 시선검출에 대한 실시간 검출 가능
- 얼굴 회전에 따른 다수의 얼굴 영상정보 소실 상황에도 강인하고 안정적인 3D 얼굴 정보 검출 가능
- CNN 기반 AI 추론 신뢰도 자가진단을 통한 3D 얼굴 정보 검출 신뢰도 제공
- 3D 헤드포즈 검출 기능은 최소 60x60 해상도의 초점이 맞는 얼굴 영역에서도 안정적 동작 가능
- 3D 시선 검출 기능은 최소 100x100 해상도의 좌/우 눈 영역 영상이 육안식별되는 수준의 입력에서 안정적 동작 가능
- 얼굴 주요 부위의 11개 특징점에 대한 영상 내 3D 랜드마크 위치 검출 기능
딥러닝 기반 얼굴 3D 자세, 시선 검출 기술
- 단일 RGB 영상기반 얼굴 3D 자세(헤드포즈, 헤딩방향, 특징점) 검출 기술
- 단일 RGB 영상기반 얼굴 3D 시선 검출 기술
딥러닝 기반 얼굴 3D 자세, 시선 검출 기술
- 얼굴 3D 자세 검출용 Pytorch 기반 CNN 학습 모델
- 얼굴 3D 시선 검출용 Pytorch 기반 CNN 학습 모델
- 단일 RGB 영상과 AI 추론기반 얼굴 3D 자세 검출 코드(Python)
- 단일 RGB 영상과 AI 추론기반 얼굴 3D 시선 검출 코드(Python)
자율주행, 마케팅, 옥외광고, 에듀테크, 로봇 분야 등의 다양한 산업 분야에서 자유로운 움직임 하의 사용자에 대해 저비용 RGB 카메라만을 이용해 사용자 관심도 검출 및 사용자 집중도 검출, 비접촉 사용자 명령인식, 사용자 인증 등에 활용 기대