본 기술은 스마트폰 센서를 이용한 AR환경에서 실 공간의 영상 데이터(RGB/Depth)를 캡처한 후 특정 객체를 선택하여 삭제할 수 있는 인페인팅 기술에 관한 것임
- 비대면 이커머스의 가상증강방식의 가상배치(추가, 삭제 가능)로 차별화 서비스 개발
증강현실 플랫폼(ARKit, ARCore)기반의 응용 서비스는 현실 공간의 평면, 바닥 등을 인식하고 여기에 구매할 객체 (가구 등)을 배치(이케아, 어반베이스 등) 하는 서비스가 대부분. ? 여기서, 증강현실환경에서, 실제 객체를 지우고 구매할 대상을 가상으로 배치하여 구매의 편의성과 반품률을 낮추는 서비스로 차별화를 꾀하고자 함
- 기존의 ARCore, ARKit의 영상센싱 연계한 인페인팅 처리(고속화, 지능화)방식 필요
ARCore, ARKit에서 지원하는 영상 획득 기능을 이용하되, 이후의 특정 객체(혹은 특정 영역)을 선택?삭제하기 위한 처리 과정을 새롭게 고안할 필요가 있음. 삭제 후 생성되는 홀(빈 영역) 등을 자연스럽게 채울 수 있는 방법과 모바일 환경에서도 빠른 처리 필요
- 증강현실 환경에서의 실 객체의 삭제
- 삭제된 객체의 주변 정보(가려진 배경 등)을 고려한 딥러닝을 이용한 인페인팅
- 모바일 환경에서도 빠른 처리가 가능한 공정
<기술이전 내용>
- 사용자가 선택한 영역을 제거하고 배경 영역을 합성하는 기술
* 마스킹 영역 영상 인페인팅 기능
* 마스킹 영역 뎁스 컴플리션 기능
<기술이전 범위>
- 딥러닝 기반의 인페인팅 학습 프로그램(소스코드)
* 입력 : RGB 영상과 Depth 영상으로 구성된 Dataset(기존 Public Dataset으로 NYUv2 활용), 삭제 영역 마스크 Dataset(기존 Public Irrgular Mask Dataset 활용)
* 출력 : 인페인팅 된 RGB 영상과 Depth 영상
- 위 기술로 학습한 인페인팅 딥러닝 네트워크 모델 파라미터
* 기존 Dataset을 활용한 학습 결과 파라미터
* 학습을 위한 하이퍼 파라미터 및 학습 노하우
- 실제 적용을 위한 인페인팅 구동 레퍼런스 프로그램(소스코드)
* 입력 : RGB 영상과 Depth영상, 삭제 영역 마스크 영상
* 출력 : 인페인팅된 RGB 영상과 Depth 영상
* 학습된 파라미터를 로드하여 테스트 실행(파이선)
* 구동 프로그램의 DLL생성, 학습된 파라미터와 DLL 로드하여 테스트 실행(C++)
- 비대면 이커머스(가구 등) 서비스
- 스마트글래스 연계한 실공간 기반 인테리어 서비스
- 실 공간 기반 게임 서비스