ETRI-Knowledge Sharing Plaform

본 기술은 산업현장에서 발생하는 중장비와 작업자 간의 충돌을 예방하기 위한 비전 기반 객체 검출 기술로, 중장비에 근접하는 이동체를 실시간으로 모니터링하여 위험 주의 영역에 있는 작업자나 다른 중장비와 같은 이동체를 검출하여 위험 상황을 운전자에게 알려줄 수 있는 기술이다. 본 기술은 비전 센서로 획득한 영상에서 작업자의 전신 또는 신체 일부가 가려진 경우에도 작업자를 검출하여 중장비 충돌로 인한 사고 위험을 운전자에게 알림 서비스로 제공해줄 수 있도록 한다.

● 산업현장에서 작업자와 중장비와의 충돌 사고 예방을 위해 중장비에 근접하는 작업자 또는 중장비 등의 이동체와 같은 객체 검출 결과를 이용하여 사용자에게 알림 기능 제공의 필요성이 있음
● 다양하고 복잡한 환경에서도 안정적인 객체 검출 성능을 제공해야 함
● 작업자가 운전하는 중장비 경로상에 있는 사고 위험 객체의 위치를 실시간으로 인식하여 위험 상황을 작업자에게 즉시 알려줄 수 있는 기술을 제공해야 함
● 운전자의 부주의한 운전 습관 및 전후방에 존재하는 사각 지대로 인한 사고 예방을 위해 중장비 운전자 주변 이동체의 움직임을 실시간 모니터링할 수 있는 기술이 제공되어야 함
● 주변 시설이나 물품에 의해 작업자의 신체 일부분이 가려진 상황에서도 객체를 검출할 수 있는 기술이 제공되어야 함

● 딥러닝 기반의 다양한 환경에서 실시간으로 안정적인 이동체 검출 기능 제공
● 전신뿐만 아니라 가려진 신체의 일부 검출 및 전신 예측 기능 제공
● 실시간 모니터링으로 이동체 근접거리 접근 시 객체 검출 결과를 통한 알림 기능 제공
● 임베디드 환경에서 실시간 동작 가능한 경량화 모델 제공

[기술이전의 내용]
● 딥러닝 기반 객체(사람, 지게차) 검출 기술
- 산업환경 복잡 배경에 대한 객체 검출 기술 적용
- 성능 안정화를 위한 데이터 증강 기술 적용
- 효율적 학습을 위한 선택적 학습 기능 적용
● 신체 일부 검출 시 사람 전신 추정 기술
- 얼굴, 상체, 하체 등 사람 신체 일부분 검출 기술 적용
- 사람 신체 일부 검출 결과로부터 전신 추정 기술 적용
● 사람 또는 지게차가 위험 또는 경고 영역 이내로 접근 시 알림 제공
- 경고 주의 알림 영역은 가변시킬 수 있음
예) 경고: ~3m, 주의: 3m~7m
● 임베디드 환경 최적화 및 경량화 기술
- Google Edge TPU 환경 기술 적용
- NVIDIA Jetson Nano 환경 기술 적용

[기술이전의 범위]
● 기술이전 결과물은 [PC환경 / Google (Edge TPU) / NVIDIA(Jetson Nano)]의 형태로 이 중 하나만 제공

● 기술이전 결과물 탑재 시스템 운용 요구사항
① PC 환경
- HW: Windows 10, CUDA 10.1, NVIDIA GeForce GTX 1080 Ti 이상
- SW: Visual Studio 2019
- Edge TPU 모델 변환용 SW 환경: Colab
② 임베디드 환경(Google Edge TPU)
- HW : NXP i.MX 8M, Google Edge TPU
- SW : TensowFlow Lite runtime 2.1 이상, Edge TPU runtime v13 이상,Edge TPU Python library 2.13 이상
③ 임베디드 환경(NVIDIA Jetson Nano)
- HW : NVIDIA Jetson Nano
- SW : JetPack SDK 4.6 이상, DeepStream SDK 6.0 이상

● (성능) 딥러닝 기반 객체 검출 입력 및 출력
- 입력: 실행렬 형태의 이미지 해상도: 640x480(3 channel)
- 출력: 검출 박스(bounding box coordinate), object class numbers(검출 객체 종류), 검출 신뢰도
* 검출 박스 좌표: 포인트 4개
* 검출 객체 종류: 사람, 지게차
* 검출 신뢰도(probability): 모델이 제공하는 검출된 결과의 신뢰도(%)
- 객체 검출 성능: mAP 93%(학습 180,000장, 평가 20,000장)
* 제조현장 대상 ETRI 구축 데이터셋: 200,000장
- 객체 검출 처리 속도: 20FPS 이상(임베디드 탑재)
* NVIDIA Jetson Nano: 30FPS 이상, Google Edge TPU: 20FPS 이상

● (제공1) 딥러닝 기반 객체 검출 SW(실행 소스 코드)
- PC 환경 딥러닝 기반 객체 검출 엔진 실행 파일
- 임베디드 환경(Google Edge TPU) 딥러닝 기반 객체 검출 엔진 실행 파일
- 임베디드 환경(NVIDIA Jetson Nano) 딥러닝 기반 객체 검출 엔진 실행 파일
* 딥러닝 기반 객체 검출 SW는 PC 환경, Google Edge TPU, 또는 NVIDIA Jetson Nano 중 1개 선택 제공(11. 기술이전 조건 참고)

● (제공2) 검출 객체 추가를 위한 자동 어노테이션 도구 및 사용 설명서
- 자동 어노테이션 도구 실행 환경
: Windows 10, CUDA 10.1, NVIDIA GeForce GTX 1080 Ti 이상
- 자동 어노테이션 도구
: 이미지 프레임별(60프레임) 저장, 자동 어노테이션 기능
- 사용 설명서
: 어노테이션 방법(수동, 자동), 학습 방법, 평가 방법 및 모델 변환 방법

● 다수의 중장비가 사용되는 산업 현장 충돌 예방 솔루션
● 사고 다발 지역 실시간 모니터링 솔루션
● 접근 금지 구역 실시간 모니터링 솔루션