ETRI-Knowledge Sharing Plaform

본 기술은 이동형 로봇을 이용하여 획득한 영상을 대상으로 사람을 검출하고 추적하여 사람을 카운팅하는 것이다.
산업 현장, 공공시설, 상업 공간 등 다양한 환경에서 사람의 수를 효율적으로 파악하고 분석하는 데 사용할 수 있는 기술로써 사람 검출, 추적 및 카운팅을 수행하기 위해 딥러닝 객체 검출 및 추적 기술을 적용하였다.

공공시설, 상업 및 산업 현장 등에서 사람의 수를 정확히 파악하는 것은 안전 관리, 생산성 향상, 서비스 개선 등을 위해 매우 중요한 요소이다. 특히 이동형 로봇이 넓은 영역을 자유롭게 이동하면서 획득한 다양한 종류의 영상을 대상으로 사람을 감지하고 추적하는 기술의 필요성은 다음과 같다:

● 사용자 인원 파악을 통한 매장 운영 효율 개선
● 사용자에게 제공하는 서비스 품질 향상
● 이동형 로봇을 운용하는 현장 데이터 기반 분석 및 사업 특성에 맞는 서비스 예측 가능
● 비정상적 인원 집중 및 위험 구역 접근 금지 등 안전 모니터링

● 딥러닝 기반의 다양한 환경에서 사용자 검출 기능 제공
● 가려진 사용자 신체 일부 검출 및 추적 기능 제공
● 비전 센서 설치 각도 변화에도 객체 검출 및 추적 기능 제공
● 현장 데이터 학습을 통한 객체 검출 및 추적 향상 기능 제공

● 딥러닝 기반 객체(사람) 검출 기술
- 복잡 배경 및 왜곡된 영상에 대한 객체 검출 기술 적용
- 사람 신체 일부분이나 왜곡된 형태의 사람 검출 기술 적용
● 신체 검출 기반 사람 추적 기술
- 얼굴, 상체, 하체 등 사람 신체 부분 검출을 통한 추적 기술 적용
- 저속 영상 프레임에 대한 추적 기술 적용
* 신체 일부(예: 팔, 다리, 하체 등)가 가려지더라도, 주요 식별 부분(머리, 어깨, 상체)이 명확하게 드러나면 추적 성능 유지
단, 신체의 식별 가능한 부분이 적어지거나, 형태가 변화될 경우 추적 신뢰도 저하 또는 다른 객체로 재식별(re-identification)하여 추적할 수 있음
● 사람 카운팅 기술
- 특정 구역 접근 사용자 카운팅 기술 적용
● 기술이전 결과물은 PC환경 형태로 제공
● 기술이전 결과물 탑재 시스템 운용 요구사항
① PC 환경
- HW: Windows 10, CUDA 11.8, NVIDIA GeForce RTX 2070 이상
- SW: Visual Studio 2019
● (성능) 딥러닝 기반 객체 검출 입력 및 출력
- 입력: 실행렬 형태의 이미지 해상도: 640x480(3 channel)
- 출력: 검출 박스(bounding box coordinate), 객체 ID(검출 객체)
* 검출 박스 좌표: 포인트 4개
* 검출 객체 종류: 사람
* 검출 신뢰도(probability): 모델이 제공하는 검출된 결과의 신뢰도(%)
- 객체 추적 성능: HOTA > 80%(학습 26,000장, 평가 1,600장)
* 현장 대상 ETRI 구축 데이터셋: 200,000장
- 객체 검출 처리 속도: 20FPS 이상(PC환경)
● (제공1) 딥러닝 기반 객체 검출/추적/카운팅 SW(실행 소스 코드)
- PC 환경 딥러닝 기반 객체 검출 및 추적 엔진 실행 파일
● (제공2) 검출 객체 추가를 위한 자동 어노테이션 도구 및 사용 설명서
- 자동 어노테이션 도구 실행 환경
: Windows 10, CUDA 11.8, NVIDIA GeForce RTX 2070 이상
- 자동 어노테이션 도구
: 이미지 프레임별(60프레임) 저장, 자동 어노테이션 기능
- 사용 설명서
: 어노테이션 방법(수동, 자동), 학습 방법, 평가 방법 및 모델 변환 방법

● 대규모 산업 현장: 작업자 안전 모니터링 및 이상행동 감지
● 건설 현장: 출입 인원 관리 및 비인가자 감지
● 공공 시설: 방문객 카운팅 및 안전 모니터링
● 상업 시설: 고객 분석 및 서비스 개선을 위한 데이터 수집 및 사용자 분석
● 사고 다발 지역 및 접근 금지 구역 실시간 모니터링