단일 칼라 카메라만을 이용해 카메라 전방에서 자유롭게 움직이는 사용자의 동적 상호작용 정보(①실 공간 내 사용자 자세(위치, 방향) ②3D 얼굴 형상, ③3D 시선방향, ④표정, ⑤3D 랜드마크 위치, ⑥눈깜빡임, ⑦심박, ⑧ 얼굴 부위정보)를 Multi-task AI 추론 기반으로 실시간 동시 검출하는 기술
스마트폰, 태블릿, 키오스크, 셋탑, 차량, 가전, CCTV 등 실생활에서 쉽게 접할 수 있는 다양한 기기에 장착된 단일 RGB 카메라와 AI 영상분석 기술을 이용해 스마트기기가 사용자 정보 수집 및 사용자 맞춤형 서비스를 위해 사용자의 동적 상호작용 정보를 실시간으로 수집하고 분석할 필요성이 급증하고 있음
- 사용자 정보를 기반으로 한 사용자 분석 및 사용자 맞춤형 서비스 수요가 디지털 휴먼, 스마트기기, 보안, 교육 등의 사용자 인터랙션 관련 서비스 분야에서 급증
- 공간 인식 센서나 동작인식 센서 등의 종속성과 움직임에 대한 제약없이 기기와 사용자 간 자연스런 상호작용 상황에서 사용자를 이해하고 사용자 맞춤형 서비스를 제공하기 위해 사용자의 동적 상호작용 정보의 실시간 수집 필요
근거리 상호작용 시 발생하는 원근투영 왜곡에 강인한 공간인지 영상 3D AI 학습을 통해 단일 RGB 카메라만을 이용해 카메라 전방에서 자유롭게 움직이는 사용자의 동적 상호작용 정보를 영상기반 AI 추론을 통해 실시간으로 검출
- 원근투영 기반 3D 얼굴 형상정보를 기반으로 한 딥러닝 영상학습으로 근거리부터 원거리까지의 넓은 동작영역과 사용자의 움직임에 따른 원근투영 왜곡에 강인하고 안정적인 3D AI 추론 구현
- ToF 혹은 Lidar 센서 같은 공간인식 센서나 신체 부착형 동작인식 센서 도움 없이 저가형 단일 RGB 카메라만으로 실공간과 연동한 얼굴 상호작용 3D 특징의 실시간 검출 가능
- 사용자의 자연스런 상호작용 움직임을 허용하는 무구속, 무착장 상태에서 단일 Multi-task CNN 네트웍 구성으로 다양한 얼굴 3D 특징들(얼굴의 3D 형상, 3D 헤드포즈, 3D 시선방향, 3D 랜드마크)과 얼굴 부위 정보, 표정, 심박, 눈 깜빡임 등의 얼굴 상호작용 정보를 고속, 고정밀 동시 검출
- 영상기반 AI 추론되는 개별 3D 얼굴 특징 간의 상관관계 정보를 이용한 추론 결과물 상호분석으로 AI 추론 신뢰도를 자가 진단하여 프레임 단위 AI 추론 신뢰도 제공
- 시계열 정보에 의존하지 않는 프레임 단위 AI 추론만으로도 안정적이고 정밀한 얼굴 3D 정보 검출 가능
- GPU 및 CPU 환경 동작 지원과 프레임 단위 연산을 이용해 모바일 획득 및 서버 전송, 서버 연산 환경에서 유연한 서비스 구성 가능
- 정면에서 측면(profile)의 넓은 동작범위 및 조명 환경 변화에 강인한 동작 지원
- 3D 얼굴 외형과 2D 얼굴 영상 간의 조밀한 픽셀 단위 대응관계 검출을 통한 다양한 활용 가능
<기술이전 내용>
A. 1세부 기술 : 얼굴 3D 랜드마크 검출 기술
- 단일 RGB 영상 입력에 대한 AI 영상분석을 통한 입력 영상과 얼굴 모델 간 1:1 대응관계를 가지는 얼굴 주요 68개 위치의 2D/3D 랜드마크 포인트 검출 기술
B. 2세부 기술 : 얼굴 3D 자세 및 시선방향 검출 기술
- 단일 RGB 영상 입력에 대한 AI 영상분석을 통한 카메라 3D 좌표계를 기준으로 한 카메라 전방에 위치한 사용자 얼굴의 공간 내 위치 및 자세 정보와 공간을 향한 3D 시선방향 정보 검출 기술
C. 3세부 기술 : 얼굴 3D 시선방향 검출 개인화 기술
- 개인별 안구특성에 의한 3D 시선방향 보정을 통한 사용자 맞춤형 3D 시선방향 검출 기술
※ 3세부 기술은 2세부 기술을 이용하기 때문에 2세부 기술의 이전이 전제되어야 함
D. 4세부 기술 : 얼굴 3D 형상 및 표정 검출 기술
- 단일 RGB 영상 입력에 대한 AI 영상분석을 통한 사용자 얼굴의 고유한 3D 형상(Polygonal mesh) 정보 및 표정 표현 파라미터 정보 검출 기술
E. 5세부 기술 : 얼굴 부위정보 기반 심박 및 눈 깜빡임 검출 기술
- 단일 RGB 영상 입력에 대한 AI 영상분석을 통한 얼굴 주요 부위정보 및 눈 랜드마크 정보 검출 기반 심박 및 눈 깜빡임 검출 기술
<기술이전 범위>
ㅇ 공통
- 영상 딥러닝 기반 실 공간 연동 얼굴 동적 상호작용 정보 실시간 검출 기술 요구사항정의서
- 영상 딥러닝 기반 실 공간 연동 얼굴 동적 상호작용 정보 실시간 검출 기술 시험절차및결과서
※ 세부 기술 범위에 한정된 기술문서 제공
A. 1세부 기술 : 얼굴 3D 랜드마크 검출 기술
- 얼굴 3D 랜드마크 검출용 Pytorch 기반 AI 학습 모델
- 단일 RGB 영상과 AI 영상분석 기반 얼굴 3D 랜드마크 검출 소스 코드(Python 언어)
B. 2세부 기술 : 얼굴 3D 자세 및 시선방향 검출 기술
- 얼굴 3D 자세 및 시선방향 검출용 Pytorch 기반 AI 학습 모델
- 단일 RGB 영상과 AI 영상분석 기반 얼굴 3D 자세 및 시선방향 검출 소스 코드(Python 언어)
C. 3세부 기술 : 얼굴 3D 시선방향 검출 개인화 기술
- 얼굴 3D 개인화 시선방향 검출용 Pytorch 기반 AI 학습 모델
- 스크린 기반 시선 보정용 데이터 획득 및 런타임 시선 보정 기반 얼굴 3D 시선방향 검출 소스 코드(Python 언어)
D. 4세부 기술 : 얼굴 3D 형상 및 표정 검출 기술
- 얼굴 3D 형상 및 표정 검출용 Pytorch 기반 AI 학습 모델
- 단일 RGB 영상과 AI 영상분석 기반 얼굴 3D 형상 및 표정 파라미터 검출 소스 코드(Python 언어)
E. 5세부 기술 : 얼굴 부위정보 기반 심박 및 눈 깜빡임 검출 기술
- 얼굴 부위정보 검출용 Pytorch 기반 AI 학습 모델
- 단일 RGB 영상과 AI 영상분석 기반 얼굴 3D 부위정보 검출 및 심박, 눈 깜빡임 검출 소스 코드(Python 언어)
o 적용 분야
사용자와의 직접적인 상호작용을 요하는 디지털 휴먼, 키오스크, 인터랙티브 콘텐츠/미디어 분야와 비접촉 사용자 모니터링을 요하는 교육, 시험, 안전운전 등의 분야, 사용자 인터랙션 인터페이스가 요구되는 다양한 스마트기기에 적용 가능
- 사용자 맞춤형 실시간 소통을 제공하는 디지털 휴먼
- 라이브 링크 기반 사용자-디지털 휴먼 연동 시스템
- 사용자 맞춤형 상호작용 체험을 제공하는 인터랙티브 미디어/콘텐츠
- 운전, 감독, 보안 등 사용자 관심도/집중도/이상행동 등의 모니터링 시스템
- 칼라 카메라가 장착된 다양한 스마트단말의 사용자 맞춤형 인터랙션 인터페이스
o 기대효과
실생활의 다양한 스마트기기에 장착된 RGB 카메라를 이용하여 사용자의 동적 상호작용에 대한 이해와 분석을 바탕으로 사용자 맞춤형 서비스 제공 가능