본 기술은 가우시안 스플래팅 기반의 3차원 장면을 빠르게 4차원 가우시안 모델인 Spacetime 가우시안으로 변환하는 기술이다.
ㅇ 3DGS 기반으로 작성된 고품질의 3D 장면을 시간축을 포함하여 시공간 기반의 동적 장면으로 변환할 수 있는 기술임
ㅇ 3DGS는 정적인 프레임 단위 학습 구조로 인해, 시간에 때란 연속적 변화나 동적 장면 표현에 한계가 존재함
ㅇ 3DGS 시퀀스를 구성하는 가우시안들의 복잡한 궤적을 공간상의 각 축에 대해 3차 다항식 형태로 모델링한 방식으로 표현할 수 있는 기술이 필요함
ㅇ 3DGS 시퀀스를 시간축을 포함하는 4DGS로 표현 가능
- Trajectory에 대하여 Smoothing 기법을 적용하여, 움직임 불연속 문제를 완화하고 연속적인 궤적 표현이 가능함
ㅇ 4D 표현으로 확장하는데 이미지 정보를 사용하지 않고 3DGS 정보만 사용하여 빠른 변환 속도
- 60 프레임 기준 1초 이내 변환 (LS 모드)
ㅇ STG 변환 과정에서 최소자승(LS: Least Squares) 기반의 근사화 기법과 학습 기반의 최적화 기법을 통해 시퀀스별 움직임 계수를 안정적으로 추정 가능
- 인코딩 압축률 3배 이상 (LS 모드)
- PLY-STG 변환 결과 RMSE가 0.05 이하
<기술이전 내용>
- 3DGS Ply 시퀀스 파일을 시공간 확장된 4DGS 포맷인 STG로 변환하는 기술
<기술이전 범위>
- 최소자승법(Least Squares) 기반 3DGS to STG 변환 프로그램
- 뉴럴넷(Neural Network) 기반 3DGS to STG 변환 프로그램
- PLY vs STG 궤적 비교 분석 코드
- 요구사항정의서 및 시험절차서
ㅇ 적용분야
- 3DGS 기술로 제작된 파일을 4차원 가우시안 스플래팅으로 확장한 실감형 서비스
- 자유시점 선택이 가능한 실감형 공연 콘텐츠 제작 및 유통 서비스
- 공연 지식재산권(IP)의 디지털 자산화 및 아카이빙 콘텐츠 구축
ㅇ 기대효과
- 3D/4D Gaussian Splatting 기반 자유시점 콘텐츠의 자동화 및 경량화 기술 확보
- 웹 환경 내 자유시점 감상 기능을 구현하여 공연 콘텐츠의 접근성 및 이용 편의성 확대
- 공연 IP의 디지털 자산화 및 재유통을 통한 콘텐츠의 지속적인 반복 활용 기반 마련
- XR, 디지털 휴먼, 퍼포먼스 기록 등 실감형 기술이 필요한 인접 산업으로의 기술 확산
- 실감형 신제품 개발 촉진을 통한 공연·문화 산업 전반의 성공적인 디지털 전환(DX) 견인