본 기술은 CCTV 카메라나 일반 USB 카메라를 대상으로 얼굴 영상을 입력받아 2D 얼굴을 자동으로 검출하고 검출된 얼굴으로부터 딥 러닝(deep learning)기술을 이용해 3D 얼굴 모델을 자동으로 생성하는 기술이다.
- 2D 얼굴 영상으로부터 3D 얼굴 영상을 자동으로 생성하는 기술은 다양한 포즈가 입력되는 얼굴인식 기술이나, 자기 얼굴을 기반으로한 3D 게임 케릭터 생성 기술 개발을 위한 필수적인 기술이다.
- 딥 러닝 기술이 알려지기 전까지, 기존의 2D->3D 얼굴 모델링 기술은 조명, 겹침, 회전, 앞뒤 변화에 강인한 인식 성능을 제공하지 못하였으나, 본 기술에서는 얼굴 Big data에 기반한 최신 딥러닝 기술을 적용하여, 조명, 겹침, 회전, 앞뒤 변화에 강인한 3D 얼굴 모델링 기술을 개발하였다.
. 일반 CCTV 카메라나 저가의 USB 카메라 환경에서도 모두 적용 가능
. 정면, 왼측면, 오른 측면 세 번의 얼굴영상 획득으로 3D 얼굴 모델 생성
. 다양한 조명, 거리, 헤어스타일을 가진 얼굴을 대상으로 인식 검증 테스트시 겹침, 회전, 앞뒤 변화 변화에 모두 3D 얼굴 모델 생성 가능
. 640x480일반 사양의 컴퓨팅 환경에서 1~3초 이내의 실시간 3D 얼굴 모델링
. 얼굴 검출에 기반하여 3D 모델 생성시 3D 랜드마크 정보도 자동으로 생성
. 동시에 다수의 얼굴이 입력돼도 3D 얼굴 생성 가능
. Pytorch를 기반으로 3D 얼굴 랜더링
. 해외 및 국내 얼굴 데이터베이스를 이용하여 3D얼굴 모델링 성능 테스트
o 기술이전의 내용
기술명: 인공지능기술을 이용한 2D->3D 얼굴자동생성기술
- 내국인 혹은 외국인 얼굴 2D->3D 얼굴 자동생성 기술
- 내국인 혹은 외국인 얼굴 랜드마크 자동 생성 기술
- 내국인 혹은 외국인 얼굴 시선 추적 기술
o 기술이전의 범위
기술명: 인공지능 기술을 이용한 2D->3D 얼굴 자동생성기술
- 내국인 혹은 외국인 얼굴 2D->3D 얼굴 자동생성 코드
- 내국인 혹은 외국인 얼굴 랜드마크 자동 생성 코드
- 내국인 혹은 외국인 얼굴 시선 추적 코드
- Pytorch 코드로 기본 제공함
- 3D 얼굴 자동 모델링 기술은 3D 카메라가 아닌 2D 카메라로 입력된 정면 얼굴 영상으로부터 3D 얼굴 모델을 자동으로 생성하는 기술이다.
- 일반적으로 CCTV 기반 얼굴인식시 측면 얼굴영상이 입력되었을 때 정면 얼굴만 등록되어 있다면, 인식 스코어가 낮게 나올 수밖에 없다. 그러므로, 정면 얼굴로부터 3D 측면 얼굴을 생성한 후, 이를 기반으로 측면 얼굴을 생성한 후, 측면 얼굴 끼리 인식을 시도하면 인식 스코어가 높게 나올수 있어 얼굴인식의 성능을 높일수 있다.
- 또한 본 기술은 자신의 얼굴과 유사한 게임 케릭터를 생성하고자 할 때, 정면 얼굴을 기반으로 자동으로 3D 게임 케릭터를 생성할 수 있는 기반 기술로 활용 가능하므로 국내뿐 아니라 국외 3D 게임 개발 업체가 모두 활용 가능한 장점이 있어, 기술이전 후 국내외 게임 케릭터 생성 시스템의 수출증대 효과가 있다.