- 본 이전기술은 복수의 2D 이미지를 입력 받아 3차원 공간데이터(point cloud)를 생성하는 딥러닝기반 공간데이터 생성 시스템 기술로써, 많은 계산량과 계산 시간이 필요한 기존 영상처리 방법의 한계를 극복하기 위하여 딥러닝기반 요소기술을 접목하여 개발한 시스템이다.
- 구체적으로 딥러닝기반 공간데이터 생성 시스템은 카메라포즈 추정을 위한 RTNet, 영상깊이정보 추정을 위한 DepthNet, 입력 영상의 장면 정보 추출을 위한 Scene graph estimator, 3차원 공간데이터를 생성하는 Fusion 모듈을 포함하고 있다.
- 게임, 메타버스, XR 등에서 가상공간을 구성하는 등 효과적으로 콘텐츠를 제작하기 위해서는 디지털 에셋 활용이 필수적이나, 현재는 CG 기반의 의존가 높은 상황임. 하지만 드라마, 영화처럼 실제 존재하는 공간에 대한 고화질 에셋을 필요한 경우에는 본 기술이전에서 목표로 하는 바와 같이 실제 공간을 직접 촬영하여 3D 복원하여 제작하는 방식에 대한 기술개발이 필요
- 공간영상은 실사로 촬영된 다수의 이미지를 바탕으로 3D 복원을 통해 실사 공간을 표현한 영상으로, 정교한 공간데이터(point cloud)를 기반으로 mesh/texturing을 통해 생성되므로, 최상의 품질의 공간영상 생성을 위하여 정교한 공간데이터 생성이 선행되어야 함.
- 기존 영상처리 방법은 많은 계산량과 계산 시간을 필요로 하기 때문에, 영상 획득 장소에서 많은 수의 이미지를 통한 3차원 공간데이터 품질 검토가 불가능함. 영상 획득과 함께 공간데이터의 품질 평가가 가능하다면, 재촬영의 시간과 비용을 절감할 수 있는 장점이 있음. 따라서, 영상 획득과 함께 공간데이터 품질 확인이 가능한 고속의 공간데이터 생성 시스템 개발은 필수적임.
- 본 기술은 세계 최초 딥러닝기반 End-to-End 공간데이터 생성 시스템으로, 기존 hand-crafted 방식대비 유사한 공간데이터 생성 품질을 유지하되, 고속의 공간데이터 생성 성능을 갖음
* 입력: 1600x1200, 4장 이미지
* hand-crafted 방식: 약 30분
* 본 기술: 약 4분
- 본 기술을 통해 영상 획득하는 즉시 공간데이터 품질를 확인 할 수 있어, 현장에서 즉시 촬영 문제를 해결할 수 있어 촬영 문제로 인한 현장 재방문 촬영 등 불필요한 비용과 제작 시간 절감
- 딥러닝기반 공간데이터 생성 시스템은 graph edit 형식으로 구현하여, 시스템의 compile 없이 각 핵심 요소 모듈(네트워크)의 업데이트가 가능함
- 딥러닝기반 공간데이터 생성 시스템 설계 기술
: 세계최초 딥러닝기반 End-to-End 공간데이터 생성 pipeline 및 모듈간 인터페이스
- 딥러닝기반 공간데이터 생성 시스템 기술
: 딥러닝기반 멀티카메라 포즈 추정 기능
: 딥러닝기반 영상깊이정보 추정 기능
: 공간데이터 생성 기능
- 요구사항 정의서
- 시스템 시험절차서 및 결과서
- 딥러닝기반 공간데이터 생성 시스템 SW(소스, 바이너리)
- 본 이전 기술은 가상공간, 게임, 메타버스, XR 서비스에 사용되는 디지털 에셋 제작에 활용이 가능함
- 본 이전 기술을 공간영상 촬영현장에서 3차원 공간데이터 품질을 확인하여 재촬영 여부를 현장에서 바로 확인 가능하여 저비용 디지털 에셋 제작이 가능해지는 장점이 있음.
- 현존에 있는 건물 혹은 공장 등 메타버스 상에서 관리 및 교육을 위한 디지털 트윈 기술이 활성화되기 위해서는 공간영상 촬영 관련 시장도 동반 성장할 것으로 전망.
- 특히 전통문화 보존을 위한 3D 복원 사업, 엔터테인먼트 XR 콘서트 등 다양한 메타버스 서비스가 활성화 될 것으로 예측되는 바, 그와 관련한 요소 기술의 필요성도 활발히 이루어질 것으로 전망됨