ETRI-Knowledge Sharing Plaform

본 기술은 “로봇 적용 범위 확장을 위해 3종의 조인트 모듈, 최대 7 자유도의 기구부 조합에 따른 제어, 인지 시스템의 자동 구성이 가능한 모듈라 매니퓰레이셔 기술”과제에서 개발하는 기술의 일부로, HW 재구성 및 작업환경 변화에 대응하여 현장의 로봇 비전문가가 인지모듈을 용이하게 구성할 수 있도록 하는 것을 목적으로 한다. 특히, 본 기술에서 제공하는 물체인식기술은 복잡한 환경에서 물체를 검출, 인식 및 자세 인식을 하기위해 딥러닝 기법을 사용하고 있는데, 이 때 학습에 필요한 데이터의 양적/질적 요구조건을 충족시키기 위해 최소의 실제 학습셋과 컴퓨터그래픽스 기반의 가상학습셋을 활용하고 있다. 이를 통해 새로운 작업 대상 물체와 환경에 대한 쉽게 대응하고, 인식 기능을 쉽게 확장할 수 있다.

- 로봇의 적용 범위 확장은 매니퓰레이터 하드웨어를 모듈화 하는 것 만의 문제가 아니라 이와 결합된 작업인지기술의 혁신이 동반되어야 함. 기존의 매니퓰레이터 적용 환경에서는 정형적으로 기술 가능한 작업 프로세스와 대상물이 존재하고, 전문가가 작업 및 프로세스를 디자인함
- 하지만 모드맨 적용이 예상되는 중소기업 및 개인 작업 환경은 작업환경과 대상물이 동적으로 변경될 수 있으므로, 전문가 개입 없이 현장의 작업자가 바로 작업을 기술하고 대상물에 대한 학습을 시킬 수 있어야 함
- 본 기술이전을 통하여 제공되는 기술은 작업환경의 변화 또는 작업 대상물의 변화에 현장의 작업자가 유연하게 대응할 수 있는 기술을 제공하는 것으로 물체의 매니퓰레이션 뿐 아니라, 물체의 존재나 놓여 있는 상황 파악 등을 통하여 다양한 응용에서 활용될 수 있음

- 가상학습셋을 이용한 학습의 용이성: 최근 딥러닝 기술의 발전에 따라 매우 정교한 물체인식이 가능해 졌으나, 딥러닝 기술이 정상적으로 동작할 수 있기 위해서는 엄청나게 많은 양의 학습 데이터와 다양한 고품질 주석정보를 필요로 함. 작업대상 물체가 바뀔 때마다 학습에 충분한 양의 데이터를 확보하기는 매우 어렵다는 점에서 다양한 View와 환경요인을 고려하여 필요한 만큼의 학습데이타를 자동으로 생성해 낼 수 있는 가상학습셋을 이용한 기술은 특히 작업환경 및 대상물의 변경이 자주 발생하는 경우, 매우 유용한 기술임

- 복잡환경에서의 물체 검출, 식별 및 자세인식: 다양한 환경 및 자세를 고려하여 생성된 가상학습셋을 이용하여 학습한 인지엔진은 상당히 복잡한 환경에서도 물체의 검출 및 식별이 가능하며, 특히 물체의 매니퓰레이션을 위해서는 필수적인 고정밀도의 자세인식이 가능함. 특히, 가상학습셋을 이용하여 다양한 환경을 학습하였기 때문에 검출, 인식, 자세인식 성능이 우수하고, 새로운 물체가 추가되어가 새로운 환경에서 적용할 때도 일정한 성능을 유지할 수 있음.

기술명 : 가상학습셋을 이용한 물체의 검출, 식별 및 자세인식 기술

1. 가상학습셋 생성기술:
1.1 가상 학습셋 모델링: 인식 대상 물체들의 컴퓨터 그래픽스 모델에 대해서 기하 및 재질 모델 (텍스쳐), 환경맵 조명, 카메라 애니메이션을 설정
1.2 가상 학습셋 렌더링: 가상 환경의 카메라 움직임에 대해서 RGB 영상과 객채별 마스크 정보를 생성

2. 물체 검출 기술
2.1 물체 검출기 학습: 최소한의 실제 학습셋과 상기 가상 학습셋을 이용하여 물체검출기를 학습
2.2 물체 검출: 입력 영상에 학습된 물체가 존재하면 그 영역의 정보를 출력

3. 물체 식별 기술
3.1 물체 식별기: 입력 영상에서 물체를 검출한 후 그 물체의 종류를 인식

4. 물체 자세인식 기술
4.1 자세 인식기 DB 생성: 가상 학습셋을 입력받아 물체의 특징점과 좌표 표면의 대응관계로 DB를 생성
4.2 자세 인식: 자세 인식기 DB 대응 관계로부터 PnP 문제를 풀어서 카메라와 물체의 상대 위치를 계산
기술명 : 가상학습셋을 이용한 물체의 검출, 식별 및 자세인식 기술

1. 가상학습셋 생성기술:
1.1 가상 학습셋 모델링: 20여종의 기모델링 된 물체, 환경맵을 포함하는 블렌더 장면 파일
1.2 가상 학습셋 렌더링: 상기 장면 파일에서 자동으로 애니메이션을 생성하고, (1) RGB. (2) 가림정보를 고려한 물체별 마스크, (3) 자세인식용 XYZ 이미지를 출력하는 Blender python Script

2. 물체 검출 기술
2.1 물체 검출기 학습: 물체의 RGB 영상 파일, RGB 영상에 대한 정보(물체의 이름과 그 위치) 파일, RGB 영상과 정보파일의 리스트가 담긴 파일이 주어졌을 때, 이를 통해 물체 검출 및 식별기를 학습시키는 Python Script
2.2 물체 검출: RGB 영상이 주어졌을 때, 영상 내에서 2.1을 통해 학습된 물체들을 찾아 영상 내에서 그 위치(left, top, right, bottom)를 반환하는 Python Script

3. 물체 식별 기술
3.1 물체 식별기: RGB 영상이 주어졌을 때, 영상 내에서 2.1을 통해 학습된 물체들을 찾아 그 등록된 이름을 반환하는 Python Script

4. 물체 자세인식 기술
4.1 자세 인식기 DB 생성: 1.2에서 렌더링된 물체의 RGB 영상과 자세인식용 XYZ 영상을 읽어들인 후, 특징점을 추출하여 [특징점, RGB 영상의 2D 위치, XYZ 영상의 3D 위치]로 구성된 DB를 생성하는 Python Script
4.2 자세 인식: 물체의 종류를 알고, 자세를 모르는 입력 영상을 읽고, 자세 인식기 DB와의 특징점 비교를 통해 2D-3D 대응점을 생성한 후, PnP(Perspective & Point) Problem을 풀어 물체의 자세를 인식할 수 있는 Python Script

- 로봇 매니퓰레이션 시스템을 위한 확장성 있는 물체의 검출, 식별 및 자세인식
- 대상 물체의 존재 유무 및 수량의 인식 등을 통한 재고관리 시스템