본 기술은 인공지능을 이용하여 사실적인 디지털 휴먼을 만드는 기술이다. 사실적인 디지털 휴먼 서비스를 위한 일반적인 방법은 고품질의 3D 모델을 생성하거나, 렌더링 엔진의 품질을 향상하여 실사형 디지털 휴먼을 제작하는 것이다. 이와는 다르게 본 기술은 인공지능 기술을 기반으로 2D 영상의 실감성을 향상하는 방법이다.
본 기술이전은 3D 모델로부터 렌더링된 2D 디지털 휴먼 영상을 실감 가시화하는 것이다. 전통적으로 실감 디지털 휴먼을 서비스하기 위해 고품질의 모델링과 렌더링 엔진의 성능향상 등의 방법을 사용하지만, 본 기술은 기존의 저작도구를 통해 만들어지는 중/저품질의 3D 디지털 휴먼을 이용하여 실감 가시화를 진행한다. 즉, 기존의 접근 방식과 다른 뉴럴렌더링(Neural Rendering)의 기법을 적용한다. 뉴럴렌더링이란 인공지능으로 대규모의 영상을 학습하여 영상을 변형하는 기술로, 실감 가시화의 경우는 실제 사람 영상을 이용하여 빛의 모든 효과를 학습하고, 이를 통해 부자연스럽게 렌더링된 2D 디지털 휴먼 영상을 실제 사람처럼 변형하는 것이다. 이를 통해 저비용으로 실사 수준의 디지털 휴먼을 서비스 할 수 있다.
● 기존의 콘텐츠 제작 파이프라인에 쉽게 적용 가능
- 3D 콘텐츠 제작 환경에서 기존 파이프라인에 쉽게 통합되는 것은 아주 중요한 이슈
- 본 기술은 기존의 모델러 및 렌더러에 독립적으로 적용 가능
- 기존의 상용 저작도구를 통해 만들어진 3D 콘텐츠를 유니티 혹은 언리얼로 렌더링한 2D 영상에 실감 가시화 수행
- 이를 통해 업체의 기 보유 프로젝트에 쉽게 통합 가능
● 저비용으로 실사 디지털 휴먼 서비스 가능
- 고품질의 디지털 휴먼 생성은 상당한 비용이 소요 됨
- 본 기술은 중/저품질로 모델링하여 렌더링된 영상을 실사 수준의 영상으로 변경함으로써 저 비용으로 실사 수준의 디지털 휴먼 서비스 가능
● 입력 디지털 휴먼의 특징(아이덴티티) 유지 가능
- 기존의 GAN(Generative Adversarial Network, 생산적 적대 신경망) 등을 이용하여 임의의 사람을 생성하는 기술과는 다르게, 사람처럼 보이는 영상을 입력하여 디자이너의 의도를 반영(디자인 특징, 조명 등의 렌더링 환경)한 실사 디지털 휴먼 서비스 가능
● 제어 가능한 디지털 휴먼 서비스 가능
- 기존 페이스 스왑 형태의 디지털 휴먼 생성 기술은 실제 사람의 바디에 가상의 사람 얼굴만 합성 함
- 이 경우 3D 모델이 가지는 무한대의 제어성(리깅 및 애니메이션 작업으로 다양한 자세를 취할 수 있음)이라는 장점이 없어짐
- 본 기술은 전통적인 3D 기반 콘텐츠 제작의 장점인 “제어성”과 인공지능 기반 제작의 장점인 “사실감”을 동시에 기대할 수 있음
<기술이전 내용>
ㅇ 렌더링된 디지털 휴먼 영상의 실감 가시화 기술 개발
- 가상으로 렌더링된 디지털 휴먼 영상에 대한 인공지능 기반 실감 가시화 기술
- 연속된 2D 영상의 실감 가시화 가속을 위한 다중 GPU 기반 병렬 처리 기술
- 실감 가시화된 영상의 주관적/객관적 품질 평가 방법
<기술이전 범위>
1) 렌더링된 디지털 휴먼 영상의 실감 가시화 기술 개발 요구사항정의서 등 기술문서
2) 관련 라이브러리(유틸리티)
- 실감 가시화 신경망 학습을 위한 얼굴 영상 증강 프로그램
3) 실행 코드(추론 모델)
- 실감 가시화 추론 네트워크 모델
- 실감 가시화 추론 네트워크 모델 파라미터
● 적용 분야
- 중/저품질로 모델링된 디지털 휴먼을 이용한 실감 가시화 산업(3D 디지털 휴먼, 관련 에셋 등을 포함하는 유니티 혹은 언리얼 프로젝트는 기 보유해야 함)
- 실감콘텐츠 산업현장(디지털 심리치료, 비대면 비즈니스, 가상 뉴스 앵커, 디지털 성형 등)에서 신뢰성을 확보할 수 있는 사실적인 디지털 휴먼
* 디지털 휴먼의 사실감이 사용자의 반응에 직접적인 영향을 행사함
⇒ 디지털 심리치료에서 미세표정(눈동자 움직임, 주름 등) 및 감성 표현이 가능한 디지털 휴먼으로 치료 효과 극대화
⇒ 가상훈련(전투훈련, 소방훈련, 안전교육) 등에서 실제와 동일한 시각효과를 제공하는 디지털 휴먼으로 훈련효과 극대화
⇒ 가상 판매원, 상담원과 같이 신뢰감이 중요한 응용에서 실감 가시화 기술로 사람과 같은 서비스 효과 제공
● 기대효과
- 저비용으로 실사 수준의 디지털 휴먼 서비스 가능
- 디자이너의 의도가 반영된 실감 디지털 휴먼 서비스 가능(아이덴티티 유지)
- 3D 모델링의 장점과(제어성) 인공지능을 장점을(실감성) 동시에 활용 가능