본 기술이전은 적대적 생성 신경망인 GAN(Generative Adversarial Network) 기술을 활용하여 태블릿 및 데스크톱 환경에서 사용자 스케치 입력을 받아 사람의 얼굴 이미지를 편집하고 사용자의 의도에 맞게 자연스러운 고화질의 얼굴 이미지를 생성 복원하는 기술이며 자세한 내용은 아래와 같음.
□ 태블릿 환경에서 구동이 가능한 GAN 기반의 고화질 얼굴 편집 기술
다양한 시각 컨텐츠에서 영상의 이해와 분석을 하는 기존의 기술과는 다르게 사용자의 입력에 반응하여 결과물을 만들어 내는 GAN 응용 중에서도 가장 유용한 기술임. 본 기술은 이미지 입력에서 그래픽 사용자 인터페이스(GUI)를 통하여 사용자의 스케치 입력을 바탕으로 사용자의 의도에 맞게 자연스러운 디테일의 새로운 이미지를 만들어 내는 모델임. 태블릿 환경에서 고화질 얼굴 편집이 가능하도록 모델 경량화를 통하여 데스크톱 환경보다 자유로운 입력으로 태블릿에서 활용이 가능한 특징을 갖고 있음. 또한, 본 기술은 고화질의 얼굴 이미지 편집과 복원을 위한 GAN 모델 생성 기술, 태블릿 환경에서 구동이 가능하도록 모델을 변환하는 기술, 이미지 편집 및 결과 출력을 위한 기본적인 UI를 포함하여 구성됨.
. 실제와 같은 고화질 이미지를 생성하는 기술은 시각지능 연구에서 원천성을 가지면서 응용에서도 중요한 기술임.
. 기존의 비슷한 데이터만을 생성하는 기술은 생성된 이미지의 방향성을 정하거나 밖에서 개입하기 어려워 서비스로 활용되기 어려움이 있음.
- 학습된 데이터셋과 비슷한 성향의 데이터를 단순히 만들어 내는 경우가 많지만, 만들어진 데이터는 실제 데이터와 흡사함.
. 본 기술은 이미지를 생성시키는 GAN 모델이 사용자의 입력을 반영하여 이미지를 생성할 수 있도록 하는 방법을 제안
- 단순한 특징을 입력으로 받는 것이 아닌 자유로운 사용자 스케치를 입력으로 받아 이를 반영하여 사용자의 의도에 맞는 이미지를 생성할 수 있도록 구조 설계
- 자유로운 입력을 받을 수 있는 GUI를 통해 이미지를 복원하거나 수정할 수 있으며, 태블릿 환경에서 동작할 수 있는 경량화 기술을 통하여 태블릿이나 모바일 환경에서의 응용에도 적합.
- 태블릿 환경에서 구동이 가능한 GAN 기반의 고화질 얼굴 편집 기술
. 태블릿 및 데스크톱 환경에서 고화질 얼굴 이미지 편집 및 복원을 지원
. 사용자의 자유로운 입력을 반영하여 고화질의 얼굴 이미지를 편집하고 특별한 툴 없이 GAN 기술을 활용하여 고품질의 얼굴 이미지 생성 복원이 가능
태블릿 환경에서 구동이 가능한 GAN 기반의 고화질 얼굴 편집 기술을 이해하기 위한 SW 및 관련 기술로, 다음의 기술들을 이전함
태블릿 환경에서 구동 가능한 GAN 기반의 고화질 얼굴 이미지 편집 엔진
. 고화질 얼굴 이미지 편집 및 복원을 위한 GAN 모델 생성 기술
. 태블릿 환경에서 구동이 가능하도록 모델을 변환해주는 기술
. 이미지 편집 및 결과 출력을 위한 초기 태블릿 UI, 데스크톱 UI 모듈
o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과
- 특허
. 이미지 수정 시스템 및 이의 이미지 수정 방법
. 적대적 생성 신경망을 이용한 얼굴 이미지 수정 시스템
- 프로그램
. 적대 신경망을 활용한 얼굴 이미지 수정 프로그램
- 본 기술은 사람의 얼굴 이미지를 데스크톱 및 모바일, 태블릿 환경에서 특정한 툴이나 추가적인 기술 없이 자유롭게 얼굴 편집과 생성이 가능하고 이를 위한 기초 UI를 제공. 본 기술은 기학습된 얼굴에 대한 이미지와 비슷한 이미지를 생성할 수 있으므로, 사업화에 필요한 추가적인 기술 개발이 필요함
1) 모바일 어플리케이션 : 모바일 및 태블릿 환경에서도 간단한 조작으로 높은 성능의 얼굴 이미지 수정기능을 제공하는 분야. 성형외과 등에서 성형 전후 얼굴 비교를 통한 모바일 홍보 어플리케이션으로 활용 가능
2) 몽타주 생성 : CCTV에서 범인과 같은 특정 사람의 얼굴을 다시 복원하거나, 몽타주를 스케치하여 자연스러운 얼굴을 생성하는 방법으로 활용 가능