본 기술은 “고령 사회에 대응하기 위한 실환경 휴먼케어 로봇 기술 개발” 과제에서 개발하는 기술의 일부로, 영상 내의 물체 인식에 필요한 학습셋을 효율적으로 생성하는 것을 목적으로 한다. 특히, 알약의 인식에 초점을 맞춘다. 최근에는 복잡한 환경에서 다양한 물체를 검출, 인식 및 자세 인식을 하기위해 딥러닝 기법을 사용하고 있는데, 이 때 학습에 필요한 데이터의 양적/질적 요구조건을 충족시키기 위해 최소의 실제 학습셋과 컴퓨터그래픽스 기반의 가상학습셋을 활용하게 된다. 본 기술을 통해 학습의 대상이 되는 물체를 손쉽게 모델링하고, 다양한 환경에서 다중의 물체가 물리적 가림조건이 발생하는 경우에 대해서 양적으로 풍성한 가상학습셋을 생성할 수 있다. 또한, 매우 정밀하고 다양한 주석 정보를 생성할 수 있는데 그 종류는 마스크, 깊이, 노멀, 물체 중심 위치 등이다.
- 증강현실, 로봇, IoT, 5G 등 다양한 첨단 기술에는 영상 인식기술이 기본적으로 탑재되는 경우가 많다. 특히, 최근에는 딥러닝 기반 영상인식 기술이 기본이 되고 있다.
- 하지만 딥러닝을 효과적으로 운용하기 위해서는 대량의 데이터와 고품질의 주석 정보가 필요하다. 하지만 이를 위해서는 상당한 인적, 비용적 자원이 소요된다. 뿐만 아니라 다양한 3차원 조건에 대해서는 현실에서 그 데이터를 구하는 것이 불가능할 수 있다.
- 본 기술이전을 통하여 제공되는 기술은 작업환경의 변화 또는 작업 대상물의 변화에 딥러닝이 유연하게 대응할 수 있는 기술을 제공하는 것으로 컴퓨터 그래픽스 기술을 이용하여 가상 학습셋을 생성하기 위한 것으로, 딥러닝 학습 데이터의 양적/질적 요구조건을 충족시키는 것을 목적으로 한다.
- 특히, 알약의 자동 조제에서 발생하는 문제를 최소화하기 위해 딥러닝을 적용하기 위해 가상학습셋을 생성을 이용하고자 한다.
- 가상학습셋을 이용한 학습의 용이성: 최근 딥러닝 기술의 발전에 따라 매우 정교한 물체인식이 가능해 졌으나, 딥러닝 기술이 정상적으로 동작할 수 있기 위해서는 엄청나게 많은 양의 학습 데이터와 다양한 고품질 주석정보를 필요로 함. 작업대상 물체가 바뀔 때마다 학습에 충분한 양의 데이터를 확보하기는 매우 어렵다는 점에서 다양한 View와 환경요인을 고려하여 필요한 만큼의 학습데이타를 자동으로 생성해 낼 수 있는 가상학습셋을 이용한 기술은 특히 작 업 환경 및 대상물의 변경이 자주 발생하는 경우, 매우 유용한 기술임
1. 알약 가상 학습셋 모델링 기술
1.1 형상 모델링: 인식 대상 알약들의 컴퓨터 그래픽스 모델에 대해서 기하 형상을 정의하고 영상을 통해 정의 인수를 조정할 수 있도록 함.
1.2 재질 모델링: 알약의 텍스쳐, 표면질감, 투명도 등을 영상을 통해 인수화하는 기술
1.3. 환경 모델링: 알약 인식 환경의 영상을 통해 환경맵 조명을 모델링 기술
1.4 촬영 조건 모델링: 카메라 촬영 조건 자동 생성
2. 알약 가상학습셋 생성 기술
2.1 가림 조건 생성: 물리 엔진을 이용한 다중 알약의 가림 조건 자동 생성
2.2 물리 기반 렌더링: 모델링된 알약, 환경, 조명, 카메라를 이용하여 사진 수준의 영상을 생성함
2.3 기하 주석 생성: 알약별 마스크, 깊이, 노멀, 물체중심 위치 생성
1. 가상 학습셋 모델링 기술
1.1 형상 모델링: (1) 기모델링된 샘플 알약 10 종, (2) 형태 변형이 가능한 샘플 물체 5종, (3) 알약 형태의 인수 정의/조정 모듈
1.2 재질 모델링: (1) 디퓨즈, 플라스티, 다층재질, 반투명 재질 등을 표현할 수 있는 재질 표현 모듈, (2) 재질 인수 조정 모듈
1.3. 환경 모델링: (1) HDRI 샘플 조명 20여종, (2) 조명 설정 모듈
1.4 촬영 조건 모델링: (1) 카메라 제어 모듈
2. 가상학습셋 생성 기술
2.1 가림 조건 생성: (1) 다중 알약들의 가림 조건 자동생성 모듈
2.2 물리 기반 렌더링: (1) 블렌더 Cycle 렌더링 제어 모듈
2.3 기하 주석 생성: (1) 알약별 마스크, 깊이, 노멀, 물체중심 위치 생성모듈
- 휴먼케어 로봇 작업 환경에서 다양한 물체를 인식하는 문제
- 로봇 매니퓰레이션 시스템을 위한 확장성 있는 물체의 검출, 식별 및 자세인식
- 대상 물체의 존재 유무 및 수량의 인식 등을 통한 재고관리 시스템
- 영상기반 알약 오조제 탐지