ETRI-Knowledge Sharing Plaform

본 기술은 청바지, 운동복 등의 일상복을 입은 상태의 사용자 정면 사진 한 장을 촬영하여 다시점 깊이 영상을 생성하는 기술과 원화로부터 3D 캐릭터 구성요소를 생성할 수 있는 기술이다.
생성된 다시점 깊이 영상은 기술이전 대상 업체에서 기 보유한 기술을 통해 사용자의 신체 치수 정보를 측정하거나, 혹은 신체 3D 정보를 생성하는 데 사용할 수 있으며, 원화에서 생성된 3D 캐릭터 구성요소는 게임 및 애니메이션 응용에 사용될 수 있다.

● 본 기술이전은 일상복을 착용한 사용자의 다시점 깊이 정보 영상 생성과,
정면/측면 원화에서 3D 캐릭터 구성요소를 생성하기 위해
- 인체 사진 입력에 대한 자동 전배경 분리 기술
- 전배경 분리된 전신 인체 영상에 대한 다시점 깊이 영상 생성 기술
- 영상 입력기반 3D 캐릭터 구성요소의 형태 복원기술
- 영상 입력기반 3D 캐릭터 구성요소의 질감 복원기술
- 3D 캐릭터 구성요소에 대한 전이 기술
- 관련 특허 실시권 및 관련 문서
를 실행코드 형태로 이전하고자 함

● 본 기술이전 전후에 기술 수요업체가 시장 상황에 대한 확신과 본격적인
사업화를 위한 준비과정(기술 내재화 및 UI 개발 등)이 필요

● 사진/이미지 한 장(정면) 혹은 두 장(정면, 측면)으로 다시점 깊이 정보를 추출
- 제한된 조명 조건에서 촬영한 객체의 정면 사진으로부터 전배경 분리를 통해
객체영역 추출
- 추출된 전경 영상에서 인공지능 기반 추론 과정을 통해 측면 및 후면을 포함하는
다시점 깊이 정보를 추출하여 다양한 응용에 적용할 수 있음

● 생성된 다시점 깊이 정보를 다양한 응용에서 쉽게 사용 가능
- 객체의 다시점 깊이 정보를 기반으로 3D 형태 복원 및 외형 치수 측정 등 다양한
응용 활용 가능
- 3D 깊이 측정 센서가 내장된 고가의 단말기에서만 사용 가능한 응용을 일반 RGB 카메라만 탑재한 단말에서도 활용할 수 있도록 지원

● 2D 캐릭터 구성 요소 원화로부터 3D 캐릭터 구성 요소를 쉽게 생성 가능
- 게임 및 애니메이션 등에서 필요한 3D 캐릭터 구성 요소를 2D 원화로부터 빠르고 손쉽게 고품질로 생성
- 생성된 구성요소에 기술이전 업체에서 추가적으로 물리 시물레이션 등의 기술을 추가하여 사실적인 그래픽스 응용에 사용 가능

● 3D 구성 요소 템플릿을 전이함으로써 템플릿에 적용된 부가 정보 사용 가능
- 복원된 3D 구성 요소에 3D 템플릿 전이 기술을 적용함으로써 3D 구성 요소 템플릿에 포함된 UV맵, 리깅 정보 등을 전이 결과물에서도 그대로 이용 가능

● 콘솔에서 활용 가능한 EXE 형태의 엔진 제공을 통한 타 프로그램 이식성 향상
- 제공되는 실행코드는 콘솔에서 사용 가능한 exe 형태로도 제공하여, 매니저 프로그램들을 통해 exe 호출 가능, 이로써 웹, 앱, 자바, C# 등 어떤 형태의 프로그램이나, 어떤 형태의 프로그램 언어에서도 호출 가능

가. 기술이전의 내용

A. 기술명 : 인체 2D 영상 기반 다시점 깊이 영상 생성 기술
- 인체 사진 입력에 대한 자동 전배경 분리 기술
- 전배경 분리된 전신 인체 영상에 대한 다시점 깊이 영상 생성 기술
- 관련 특허 실시권 및 관련 문서

B. 기술명 : 2D 영상 기반 3D 캐릭터 생성 및 전이 기술(드레스)
- 영상 입력기반 3D 캐릭터 구성요소의 형태 복원기술
- 영상 입력기반 3D 캐릭터 구성요소의 질감 복원기술
- 3D 캐릭터 구성요소에 대한 전이 기술
- 관련 특허 실시권 및 관련 문서

C. 기술명 : 구성요소 아이템 추가 학습
- 기술 B를 이전받은 업체에 한해 추가 아이템에 대해 재학습을 요구 할 때
학습 모델 관련 실행 파일 제공
A. 기술명 : 인체 2D 영상 기반 다시점 깊이 영상 생성 기술
1) 관련 기술 문서 및 특허 실시권
- 특허 실시권 및 관련 기술문서
2) 관련 라이브러리/파라미터 파일
- 프로그램 시동 및 구동 관련 라이브러리 파일
- 전배경 분리를 위한 학습모델 및 파라미터 파일
- 다시점 깊이 영상 생성을 위한 학습모델 및 파라미터 파일
3) 실행 코드
- 자동 전배경 분리 실행 파일 (EXE)
- 다시점 깊이 영상 생성 실행 파일 (EXE)
- 2D 영상 기반 다시점 깊이 영상 생성 샘플코드(배치 파일(.bat))

B. 기술명 : 2D 영상 기반 3D 캐릭터 생성 및 전이 기술(드레스)
1) 관련 기술 문서 및 특허 실시권
- 특허 실시권 및 관련 기술문서
- 3D 캐릭터 구성 요소 템플릿 3D 모델
- 3D 원화 가이드라인
2) 관련 라이브러리/파라미터 파일
- 프로그램 시동 및 구동 관련 라이브러리 파일
- 3D 캐릭터 구성 요소 생성을 위한 학습모델 및 파라미터 파일
- 3D 캐릭터 구성 요소 전이를 위한 학습모델 및 파라미터 파일
3) 관련 실행코드
- 3D 캐릭터 구성요소에 대한 형태 복원 실행 코드(EXE)
- 3D 캐릭터 구성요소에 대한 질감 복원 실행 코드(EXE)
- 3D 캐릭터 구성요소에 대한 전이 실행 코드(EXE)
- 실행코드 사용법을 확인하는 샘플코드(배치 파일(.bat))

C. 기술명 : 구성요소 아이템 추가 학습
1) 관련 라이브러리/파라미터 파일
- 프로그램 시동 및 구동 관련 라이브러리 파일
- 3D 캐릭터 구성 요소 생성을 위한 학습모델 및 파라미터 파일
- 3D 캐릭터 구성 요소 전이를 위한 학습모델 및 파라미터 파일

● 적용 분야
- 사진 한 장을 통해 다시점 깊이 정보를 추출하여 헬스클럽 및 가정에서의
체 치수 측정을 통한 건강 관리 서비스에 활용 가능 (깊이 정보 기반 신체
치수 측정 기술은 이전 업체에서 사전에 확보)
- 원화기반 3D 캐릭터 구성요소 생성을 통해 게임 및 애니메이션의 다양한
응용분야에 적용 가능 (기존의 수작업 파이프라인 간소화)
- VR/AR 기반 캐릭터 의상 제작 서비스 가능

● 기대효과
- 고가의 깊이 정보 획득 카메라가 내장된 단말기에서만 가능한 응용을 일반
RGB 카메라만 내장된 단말에서도 서비스할 수 있음
- 기존이 수작업 기반 3D 캐릭터 제작 파이프라인 개선으로 시간 비용 절감 가능