본 기술은 CCTV 카메라나 일반 USB 카메라를 대상으로 얼굴 영상을 입력받아 얼굴을 자동으로 검출하고 검출된 얼굴로부터 딥러닝(deep learning)기술을 이용해 68개의 랜드 마크를 자동으로 검출 추적하고 3D 모델에 기반한 얼굴을 생성한 후, 이를 타인의 얼굴과 자동으로 교체하는 기술이다.
얼굴 랜드 마크 검출 및 얼굴 교체 기술은 얼굴을 이용한 멀티미디어 콘텐츠 생성 및 재미있는 비디오 제작, 개인 사진 편집 등 다양한 활용이 가능하다.
딥러닝 기술이 알려지기 전까지, 기존의 랜드 마크 검출 기술은 조명, 포즈, 표정 변화에 강인하게 검출하고 추적하는 성능을 제공하지 못하였으나, 본 기술에서는 얼굴 랜드 마크에 대한 Big data에 기반한 최신 딥러닝 기술을 개발하여, 조명, 포즈, 표정 변화에 강인한 랜드마크 검출 및 추적 개발하였다. 또한, 추출된 랜드마크 포인트를 기반으로 얼굴의 3D 모델을 생성하고, 타인의 얼굴의 3D 모델과 실시간으로 교체하며 원 얼굴의 표정 변화에 맞춰 교체된 얼굴도 표정을 변화시켜 자연스런 얼굴 교체(Face-off)가 가능하게 하였다.
- 딥러닝기반 실시간 68포인트 랜드마크 검출 및 추적기술
- 실시간 얼굴 체인지(face-off) 및 표정 변화 연동
- 자연스런 포즈 변화 연동
- 단순하고 간단한 3D 얼굴 모델 생성
- 정면 영상 하나만으로 다양한 측면 얼굴 생성 가능
- 3D 스캐너 없이 3D 모델 생성을 통한 3D 프린팅
A. 기술명: 딥러닝기반 실시간 얼굴 랜드마크 검출 기술
- 눈, 코, 입, 턱 등 얼굴의 얼굴 구성요소를 포함하는 68개의 랜드마크를 실시간으로 검출하고 추적하는 기술
- 68포인트의 위치를 기반으로 자동으로 얼굴의 포즈를 인식하는 기술
B. 기술명: 3D 얼굴 교체 기술
- 표준 3D 얼굴 모델을 기반으로 입력된 얼굴의 실시간 3D 얼굴 모델 생성
- 실 영상의 얼굴영역에 기 생성된 타인의 얼굴 영역 자동교체 기술
A. 기술명: 딥러닝기반 실시간 얼굴 랜드마크 검출 기술
- 얼굴 68 포인트 자동 검출 및 추적 소스 코드
- 68 포인트 기반 포즈 인식 소스 코드
- window 버전
B. 기술명 : 3D 얼굴 교체 기술
- 3D 얼굴 모델 생성 및 얼굴 교체 소스 코드
- window 버전
얼굴의 랜드마크 자동 검출 및 추적 기술은 기본적으로 얼굴의 표정 및 포즈 변화에 강인한 얼굴인식 시스템을 구현하는데 도움을 준다. 즉, 정면으로 등록된 얼굴 영상을 기반으로 얼굴인식을 수행할 때, 표정이나 포즈가 변화된 얼굴이 입력되면 이를 랜드마크 위치를 기반으로 정규화 한 후, 얼굴인식을 시도하면 보다 높은 얼굴인식 성능을 얻을 수 있다. 또한 얼굴교체 기술은 실시간으로 개인이 다양한 형태의 아바타를 본인 얼굴에 합성하거나, 가상으로 성형 수술을 하거나, 다양한 뮤직비디오 등에 자기 얼굴을 자동으로 합성해서 새로운 콘텐츠를 만드는 등의 다양한 활용 방안이 존재한다.