ETRI-Knowledge Sharing Plaform

본 기술은 영상 내의 물체 인식에 필요한 학습셋을 효율적으로 생성하는 것을 목적으로 한다. 복잡한 환경에서 다양한 물체를 검출, 인식 및 자세 인식을 하기위해 딥러닝 기법을 사용하고 있는데, 이 때 지도학습에 필요한 데이터의 양적/질적 요구조건을 충족시키는 것이 중요하다. 이 때 최소의 실제 학습셋과 본 기술을 이용하여 생성한 컴퓨터그래픽스 기반의 대용량 가상학습셋을 결합하여, 딥러닝 데이터의 양적/질적 요구조건을 만족시킬 수 있다. 본 기술을 통해 학습의 대상이 되는 물체를 손쉽게 모델링하고, 다양한 환경에서 다중의 물체가 물리적 가림조건이 발생하는 경우에 대해서도 양적으로 풍성한 실사수준의 가상학습셋 영상을 생성할 수 있다. 또한, 매우 정밀하고 다양한 주석 정보를 생성할 수 있는 데 그 종류는 마스크, 깊이, 노멀, 물체 중심 위치 등이다. 본 기술의 응용 범위는 다양한데, 특히 로봇 파지 작업 , 자동 비젼 시스템, 모바일 로봇을 위한 물체/환경 인식, 증강현실 분야에 적용 가능하다.

- 증강현실, 로봇, IoT, 5G 등 다양한 첨단 기술에는 영상 인식기술이 기본적으로 탑재되는 경우가 많다. 특히, 최근에는 딥러닝 기반 영상인식 기술이 기본이 되고 있다.
- 하지만 딥러닝을 효과적으로 운용하기 위해서는 대량의 데이터와 고품질의 주석 정보가 필요하다. 하지만 이를 위해서는 상당한 인적, 비용적 자원이 소요된다. 뿐만 아니라 다양한 3차원 조건에 대해서는 현실에서 그 데이터를 구하는 것이 불가능할 수 있다.
- 본 기술이전을 통하여 제공되는 기술은 작업환경의 변화 또는 작업 대상물의 변화에 딥러닝이 유연하게 대응할 수 있는 기술을 제공하는 것으로 컴퓨터 그래픽스 기술을 이용하여 가상 학습셋을 생성하기 위한 것으로, 딥러닝 학습 데이터의 양적/질적 요구조건을 충족시키는 것을 목적으로 한다.
- 특히, 본 가상학습셋 생성시 다양한 분야에서 발생하는 도메인 적용의 문제를 최소화하면서 위해, 기술 수요자와의 요구사항을 반영하는 프로세스를 포함하고 있다.

- 최근 딥러닝 기술의 발전에 따라 매우 정교한 물체인식이 가능해 졌으나, 딥러닝 기술이 정상적으로 동작할 수 있기 위해서는 엄청나게 많은 양의 학습 데이터와 다양한 고품질 주석정보를 필요로 함.
- 작업대상 물체가 바뀔 때마다 학습에 충분한 양의 데이터를 확보하기는 매우 어렵다는 점에서 다양한 시점과 환경요인을 고려하여 필요한 만큼의 학습데이타를 자동으로 생성해 낼 수 있는 가상학습셋을 이용한 기술은 작업 환경 및 대상물의 변경이 자주 발생하는 동적인 경우에 매우 유용한 기술임

가. 기술이전의 범위

A. 총괄기술명 : 딥러닝을 위한 영상기반 가상학습셋 생성기술

1. 세부 기술: 가상 학습셋 모델링 기술
1.1. 형상 모델링: 인식 대상 물체의 기본 기하 모델이 주어졌다고 가정할 때, 이를 인수화(parameter) 정의하여 각종 변환(transform)이 가능하도록 함;
1.2. 재질 모델링: 물체의 기본색상, 텍스쳐, 표면질감, 투명도, 식각 등을 쉐이더로 표현함;
1.3. 환경 모델링: 대상 물체가 배치되는 인식 환경을 장면과 환경맵 조명을 표현함;
1.4. 촬영 모델링: 다양한 카메라의 내부/외부 인수를 인수화하여 자동생성 함;

2. 세부 기술: 가상학습셋 생성 기술
2.1. 가림 조건 생성: 물리 엔진을 이용한 다중 물체와 환경 사이의 가림 및 충돌 조건 자동 생성
2.2. 물리 기반 렌더링: 모델링된 물체, 환경, 조명, 카메라가 포함된 장면에 대해서 적절한 물리기반 렌더링 기법을 선택하고 적합한 인수를 설정하여 학습 영상을 생성;
2.3. 기하 주석 생성: 물체별 마스크, 깊이맵, 노멀, 물체중심 위치에 대한 기하 주석을 정밀하게 생성;

3. 세부 기술: 도메인 적용 기술
3.1. 도메인 특화된 모델링 및 생성 모듈: (예) 수퍼마켓, 알약, 실내환경
3.2. 기타 도메인 모듈: 기술이전 계약전 사전협의 필요

나. 기술이전의 범위

A. 총괄기술명 : 딥러닝을 위한 영상기반 가상학습셋 생성기술

1. 세부 기술: 가상 학습셋 모델링 기술
1.1. 형상 모델링: 샘플 물체 10종, 형태 변경가능한 기하 프리미티브;
1.2. 재질 모델링: Blender Principled 쉐이더 및 제어 모듈: 색상, 텍스쳐, 표면질감, 투명도 조정 가능; 식각 표현 모듈;
1.3. 환경 모델링: 인식 환경 장면 제어 모듈; 환경맵 조명 제어 모듈;
1.4. 촬영 모델링: 카메라 내부/외부 인수 제어 모듈; 카메라 애니메이션 제어 모듈;

2. 세부 기술: 가상학습셋 생성 기술
2.1. 가림 조건 생성: 물체/환경 간 가림 및 충돌 자동 생성 및 제어 모듈
2.2. 물리 기반 렌더링: 물리기반 렌더링 제어 모듈; 학습 영상 생성 모듈;
2.3. 기하 주석 생성: 물체별 마스크, 깊이맵, 노멀, 물체중심 위치에 대한 기하 주석을 생성 모듈;

3. 세부 기술: 도메인 적용 기술 ? 아래 중 기업이 선택한 1개에 대해서 이전함.
3.1. 수퍼마켓 재고 관리: 샘플 상품, 매대 선반, 다중 카메라, 영상 스티칭
3.2. 알약 자동 조제: 인수화된 다양한 알약 템플릿, 복잡한 샘플 재질, 촬영 환경
3.3. 실내 환경 주행: 청소기/모바일로봇에 부착된 카메라 모델링, 파노라마 영상, 실내 물체/환경에 대한 샘플 장면
3.4. 그 외 환경: 사전 협의에 따른 가상학습셋 모델링 및 생성부 커스터마이즈

- 휴먼케어 로봇 작업 환경에서 다양한 물체를 인식하는 문제
- 로봇 매니퓰레이션 시스템을 위한 확장성 있는 물체의 검출, 식별 및 자세인식
- 대상 물체의 존재 유무 및 수량의 인식 등을 통한 재고관리 시스템
- 영상기반 알약 오조제 탐지
- 실내 환경에서 물체/환경을 인식하며 주행하는 모바일 로봇 분야