본 기술은 3D 기반 가상 아이돌이 라이브 공연 환경에서 보다 실감나고 자연스러운 시각 품질로 표현되도록 지원하는 기술이다.
3D 라이브 공연에서는 가상 아이돌이 고해상도 초대형 벽면 디스플레이에 실사 크기로 등장하며, 관객과 실시간으로 소통해야 하므로 높은 영상 품질과 낮은 지연 시간이 동시에 요구된다. 본 기술은 3D 렌더링 또는 실시간 생성 영상에 대해 경량 신경망 기반의 품질 향상 처리를 적용하여, 특히 얼굴 중심의 사실감과 시간적 안정성을 향상시키는 것을 목표로 한다.
또한 Unreal Engine 기반 공연 제작 환경에서 블루프린트 노드 형태로 간편하게 삽입·연동할 수 있도록 구성되어, 기존 3D 콘텐츠 제작 파이프라인을 크게 변경하지 않고도 실시간 품질 향상 기능을 적용할 수 있다.
본 기술이전의 목적은 3D 기반 가상 아이돌이 라이브 공연 환경에서 보다 실감나고 자연스러운 품질로 표현될 수 있도록, 3D 렌더링 영상 또는 실시간 생성 영상에 대한 AI 기반 실시간 품질 향상 기술을 이전하는 데 있다.
최근 가상 아이돌, 버추얼 아티스트, 메타버스 콘서트, 실시간 XR 공연 등 디지털 휴먼 기반 콘텐츠 시장이 확대됨에 따라, 가상 캐릭터의 시각적 완성도는 콘텐츠 경쟁력을 결정하는 핵심 요소가 되고 있다. 특히 3D 라이브 공연에서는 가상 아이돌이 고해상도 초대형 벽면 디스플레이에 실사 크기로 등장하며, 관객과 실시간으로 상호작용하기 때문에 높은 영상 품질과 낮은 지연 시간이 동시에 요구된다.
그러나 기존의 3D 렌더링 방식만으로는 얼굴, 표정, 피부 질감, 조명 반응 등에서 실사 수준의 자연스러운 표현을 확보하는 데 한계가 있다. 또한 라이브 공연 환경은 빠른 안무, 카메라 전환, 극단적인 조명 변화, 장시간 연속 운용 등으로 인해 일반적인 영상 후처리 기술을 적용하기 어렵다. 특히 프레임 간 품질 변화나 깜빡임이 발생할 경우 관객의 몰입감이 저하될 수 있으므로, 실시간성과 시간적 안정성을 동시에 만족하는 품질 향상 기술이 필요하다.
본 기술은 이러한 문제를 해결하기 위해 경량 신경망 기반의 영상 품질 향상 모델을 활용하여, 가상 아이돌의 얼굴 중심 품질을 실시간으로 개선하고 연속 프레임 간 안정적인 변환 결과를 제공한다. 또한 Unreal Engine 기반 제작 환경에 플러그인 및 블루프린트 노드 형태로 쉽게 적용할 수 있도록 구성되어, 기존 3D 콘텐츠 제작 파이프라인을 크게 변경하지 않고도 실시간 품질 향상 기능을 도입할 수 있다.
따라서 본 기술이전은 가상 아이돌 라이브 공연, VR 공연, 메타버스 콘서트, 가상 스튜디오 및 실시간 방송 콘텐츠 등 다양한 실감형 미디어 분야에서 고품질 디지털 휴먼 표현을 구현하고, 관련 산업의 상용 서비스 경쟁력을 높이는 데 그 필요성이 있다.
● 라이브 공연에 적합한 실시간·저지연 처리
- 관객 반응, 대화, 안무, 카메라 전환 등 실시간 상호작용이 필요한 공연 환경에 적용 가능
- 영상 보정 과정에서 발생할 수 있는 지연을 최소화하여 완전 라이브 공연의 즉시성 유지
- 장시간 공연에서도 프레임별 처리 안정성을 확보하여 지속적인 실시간 운용에 적합
● 역동적인 공연 환경에서도 안정적인 영상 품질
- 빠른 안무, 시점 변화, 카메라 움직임 등 동적 장면에서도 자연스러운 변환 결과 제공
- 무대 조명의 급격한 변화, 강한 명암 대비, 색상 변화 등에서도 안정적인 품질 향상 지원
- 연속 프레임 간 flickering을 최소화하여 관객 몰입을 방해하는 시각적 불연속성 감소
● 가상 아이돌 얼굴 중심의 실감 품질 향상
- 고해상도 초대형 벽면 디스플레이에서 관객이 쉽게 인지하는 얼굴, 피부, 윤곽, 표정 품질 개선
- 전체 화면 대비 얼굴 영역의 비중이 작은 공연 환경을 고려하여 얼굴 중심 학습 및 품질 향상 전략 적용 가능
- 특정 가상 아이돌, 무대, 조명 조건에 맞춘 학습을 통해 공연 콘텐츠에 특화된 고품질 결과 제공
● Unreal Engine 기반 간편 적용성
- Unreal Engine 프로젝트 내에서 블루프린트 노드 형태를 지원하여 복잡한 엔진 소스 수정이나 별도 렌더링 파이프라인 재구성 없이 기존 콘텐츠에 적용 가능
- 캐릭터, 카메라, 조명, 렌더 타깃 등 기존 공연 제작 워크플로우와 연계가 용이하여 프로토타이핑 및 상용 적용에 유리
<기술이전 내용>
- 입력 영상에서 얼굴 영역을 추출하여 학습 데이터로 생성하는 기술
- 입력/참조 영상 데이터 쌍을 이용하여 영상 품질 향상 AI 모델을 학습하는 기술
- 학습된 AI 모델을 이용하여 이미지, 동영상 품질을 향상하는 추론 기술
- 학습된 AI 모델을 이용하여 Unreal Engine 렌더 텍스처의 품질을 실시간으로 향상하는 추론 기술
<기술이전 범위>
- 삼차원 공연 영상 품질 향상을 위한 모델 학습 프로그램 (실행파일)
- 삼차원 공연 영상 실시간 품질 향상 프로그램 (실행파일 및 SDK)
- 삼차원 공연 영상 실시간 품질 향상을 위한 언리얼 플러그인 (소스코드)
- 실감화 학습 모델 파라미터 파일
- 기술 요구사항 정의서 등 관련 기술문서 10종
● 가상 아이돌 및 버추얼 아티스트 라이브 공연
- 초대형 LED 월, 대형 스크린, 미디어 파사드 등에 등장하는 가상 아이돌의 시각 품질 향상
- 얼굴, 표정, 피부 질감, 조명 반응 등을 실시간으로 보정하여 공연 몰입감 제고
● 실시간 인터랙티브 공연 및 팬미팅 서비스
- 관객 반응에 따라 즉시 대화하거나 움직이는 가상 캐릭터 콘텐츠에 적용
- 실시간 상호작용 환경에서 낮은 지연으로 고품질 영상 표현 지원
● VR 공연 및 메타버스 콘서트
- VR 기반 공연 콘텐츠에서 디지털 휴먼 또는 가상 캐릭터의 사실감 향상
- 가상 무대, 온라인 콘서트 등 실감형 엔터테인먼트 서비스에 활용
● 가상 스튜디오 및 실시간 방송 콘텐츠
- 버추얼 유튜버, 온라인 쇼케이스, 라이브 커머스, 가상 MC 등 실시간 방송 제작 환경에 적용
- 후처리 없이 실시간으로 캐릭터 외형 품질 개선 가능