ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

영상기반 딥러닝을 위한 가상학습셋 생성 기술

전수책임자
이주행
참여자
김재홍, 이주행
기술이전수
3
이전연도
2019
협약과제
13VE1400, 실감 디지털 캔버스 구현을 위한 실제 붓 이미지 입출력 장치 및 플랫폼 개발, 서정대
14PC1900, 로봇 적용 범위 확장을 위해 3종의 조인트 모듈, 최대 7자유도의 기구부 조합에 따른 제어, 인지 시스템의 자동 구성이 가능한 모듈라 매니퓰레이션 기술 개발, 김재홍
15PC5100, 로봇 적용 범위 확장을 위해 3종의 조인트 모듈, 최대 7자유도의 기구부 조합에 따른 제어, 인지 시스템의 자동 구성이 가능한 모듈라 매니퓰레이션 기술 개발, 김재홍
16PS2200, 로봇 적용 범위 확장을 위해 3종의 조인트 모듈, 최대 7자유도의 기구부 조합에 따른 제어, 인지 시스템의 자동 구성이 가능한 모듈라 매니퓰레이션 기술 개발, 김재홍
17PS2200, 로봇 적용 범위 확장을 위해 3종의 조인트 모듈, 최대 7자유도의 기구부 조합에 따른 제어, 인지 시스템의 자동 구성이 가능한 모듈라 매니퓰레이션 기술 개발, 김재홍
19HS6200, 고령 사회에 대응하기 위한 실환경 휴먼케어 로봇 기술 개발, 이재연
본 기술은 영상 내의 물체 인식에 필요한 학습셋을 효율적으로 생성하는 것을 목적으로 한다. 복잡한 환경에서 다양한 물체를 검출, 인식 및 자세 인식을 하기위해 딥러닝 기법을 사용하고 있는데, 이 때 지도학습에 필요한 데이터의 양적/질적 요구조건을 충족시키는 것이 중요하다. 이 때 최소의 실제 학습셋과 본 기술을 이용하여 생성한 컴퓨터그래픽스 기반의 대용량 가상학습셋을 결합하여, 딥러닝 데이터의 양적/질적 요구조건을 만족시킬 수 있다. 본 기술을 통해 학습의 대상이 되는 물체를 손쉽게 모델링하고, 다양한 환경에서 다중의 물체가 물리적 가림조건이 발생하는 경우에 대해서도 양적으로 풍성한 실사수준의 가상학습셋 영상을 생성할 수 있다. 또한, 매우 정밀하고 다양한 주석 정보를 생성할 수 있는 데 그 종류는 마스크, 깊이, 노멀, 물체 중심 위치 등이다. 본 기술의 응용 범위는 다양한데, 특히 로봇 파지 작업 , 자동 비젼 시스템, 모바일 로봇을 위한 물체/환경 인식, 증강현실 분야에 적용 가능하다.
- 증강현실, 로봇, IoT, 5G 등 다양한 첨단 기술에는 영상 인식기술이 기본적으로 탑재되는 경우가 많다. 특히, 최근에는 딥러닝 기반 영상인식 기술이 기본이 되고 있다.
- 하지만 딥러닝을 효과적으로 운용하기 위해서는 대량의 데이터와 고품질의 주석 정보가 필요하다. 하지만 이를 위해서는 상당한 인적, 비용적 자원이 소요된다. 뿐만 아니라 다양한 3차원 조건에 대해서는 현실에서 그 데이터를 구하는 것이 불가능할 수 있다.
- 본 기술이전을 통하여 제공되는 기술은 작업환경의 변화 또는 작업 대상물의 변화에 딥러닝이 유연하게 대응할 수 있는 기술을 제공하는 것으로 컴퓨터 그래픽스 기술을 이용하여 가상 학습셋을 생성하기 위한 것으로, 딥러닝 학습 데이터의 양적/질적 요구조건을 충족시키는 것을 목적으로 한다.
- 특히, 본 가상학습셋 생성시 다양한 분야에서 발생하는 도메인 적용의 문제를 최소화하면서 위해, 기술 수요자와의 요구사항을 반영하는 프로세스를 포함하고 있다.
- 최근 딥러닝 기술의 발전에 따라 매우 정교한 물체인식이 가능해 졌으나, 딥러닝 기술이 정상적으로 동작할 수 있기 위해서는 엄청나게 많은 양의 학습 데이터와 다양한 고품질 주석정보를 필요로 함.
- 작업대상 물체가 바뀔 때마다 학습에 충분한 양의 데이터를 확보하기는 매우 어렵다는 점에서 다양한 시점과 환경요인을 고려하여 필요한 만큼의 학습데이타를 자동으로 생성해 낼 수 있는 가상학습셋을 이용한 기술은 작업 환경 및 대상물의 변경이 자주 발생하는 동적인 경우에 매우 유용한 기술임
가. 기술이전의 범위

A. 총괄기술명 : 딥러닝을 위한 영상기반 가상학습셋 생성기술

1. 세부 기술: 가상 학습셋 모델링 기술
1.1. 형상 모델링: 인식 대상 물체의 기본 기하 모델이 주어졌다고 가정할 때, 이를 인수화(parameter) 정의하여 각종 변환(transform)이 가능하도록 함;
1.2. 재질 모델링: 물체의 기본색상, 텍스쳐, 표면질감, 투명도, 식각 등을 쉐이더로 표현함;
1.3. 환경 모델링: 대상 물체가 배치되는 인식 환경을 장면과 환경맵 조명을 표현함;
1.4. 촬영 모델링: 다양한 카메라의 내부/외부 인수를 인수화하여 자동생성 함;

2. 세부 기술: 가상학습셋 생성 기술
2.1. 가림 조건 생성: 물리 엔진을 이용한 다중 물체와 환경 사이의 가림 및 충돌 조건 자동 생성
2.2. 물리 기반 렌더링: 모델링된 물체, 환경, 조명, 카메라가 포함된 장면에 대해서 적절한 물리기반 렌더링 기법을 선택하고 적합한 인수를 설정하여 학습 영상을 생성;
2.3. 기하 주석 생성: 물체별 마스크, 깊이맵, 노멀, 물체중심 위치에 대한 기하 주석을 정밀하게 생성;

3. 세부 기술: 도메인 적용 기술
3.1. 도메인 특화된 모델링 및 생성 모듈: (예) 수퍼마켓, 알약, 실내환경
3.2. 기타 도메인 모듈: 기술이전 계약전 사전협의 필요

나. 기술이전의 범위

A. 총괄기술명 : 딥러닝을 위한 영상기반 가상학습셋 생성기술

1. 세부 기술: 가상 학습셋 모델링 기술
1.1. 형상 모델링: 샘플 물체 10종, 형태 변경가능한 기하 프리미티브;
1.2. 재질 모델링: Blender Principled 쉐이더 및 제어 모듈: 색상, 텍스쳐, 표면질감, 투명도 조정 가능; 식각 표현 모듈;
1.3. 환경 모델링: 인식 환경 장면 제어 모듈; 환경맵 조명 제어 모듈;
1.4. 촬영 모델링: 카메라 내부/외부 인수 제어 모듈; 카메라 애니메이션 제어 모듈;

2. 세부 기술: 가상학습셋 생성 기술
2.1. 가림 조건 생성: 물체/환경 간 가림 및 충돌 자동 생성 및 제어 모듈
2.2. 물리 기반 렌더링: 물리기반 렌더링 제어 모듈; 학습 영상 생성 모듈;
2.3. 기하 주석 생성: 물체별 마스크, 깊이맵, 노멀, 물체중심 위치에 대한 기하 주석을 생성 모듈;

3. 세부 기술: 도메인 적용 기술 ? 아래 중 기업이 선택한 1개에 대해서 이전함.
3.1. 수퍼마켓 재고 관리: 샘플 상품, 매대 선반, 다중 카메라, 영상 스티칭
3.2. 알약 자동 조제: 인수화된 다양한 알약 템플릿, 복잡한 샘플 재질, 촬영 환경
3.3. 실내 환경 주행: 청소기/모바일로봇에 부착된 카메라 모델링, 파노라마 영상, 실내 물체/환경에 대한 샘플 장면
3.4. 그 외 환경: 사전 협의에 따른 가상학습셋 모델링 및 생성부 커스터마이즈
- 휴먼케어 로봇 작업 환경에서 다양한 물체를 인식하는 문제
- 로봇 매니퓰레이션 시스템을 위한 확장성 있는 물체의 검출, 식별 및 자세인식
- 대상 물체의 존재 유무 및 수량의 인식 등을 통한 재고관리 시스템
- 영상기반 알약 오조제 탐지
- 실내 환경에서 물체/환경을 인식하며 주행하는 모바일 로봇 분야