ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

AI based Dumping Action Detection Technology

Manager
Bae Yu Seok
Participants
Kwon Yongjin, Hyungil Kim, Moon Jin Young, Park Jongyoul, Bae Kang Min, Bae Yu Seok, Sungchan Oh, Kimin Yun, Youngwan Lee, Jeun Woo Lee, Chung Young Sik, Jo Young Joo, Joong-Won Hwang
Transaction Count
1
Year
2019
Project Code
19HS3400, Development of High Performance Visual Discovery Platform for Realtime and Large-Scale Data Analysis and Prediction, Park Jongyoul
18HS4600, Development of High Performance Visual Discovery Platform for Realtime and Large-Scale Data Analysis and Prediction, Park Jongyoul
본 기술이전은 감시 영상에서 쓰레기 투기 행위를 자동 탐지하기 위한 기술로서, 사람 포즈와 물체 관계 활용 딥러닝 기반 쓰레기 투기 행위 판단 기술, 오탐지 감소를 위한 장면 이해 기술로 구성되며, 기술을 활용처에 따라서 기본 엔진과 추가 기능을 포함한 기술로 구성되어 있으며, 각각의 개요는 다음과 같음
ㅇ 기존의 영상 기반 쓰레기 투기 감지 기술은 단순 영역 침범 탐지에 그치거나, 잘 보이는 곳에 물체를 두고 가는 경우에만 동작하는 한계가 있음

- 쓰레기 투기 영역을 미리 지정해줘야 하므로 카메라가 보는 영역이 변화하면 관리자가 다시 수동으로 설정해야 함
- 단순 움직임 기반의 방식으로 영상 노이즈, 사람이 아닌 움직임 등에 취약하여 잦은 오탐지 발생
- 기존 놓고 간 물체 탐지 방법은 이벤트 발생 후 일정 시간이 지나야 탐지가 가능할 뿐 아니라, 물체만 탐지하고 쓰레기 투기를 행한 사람을 찾지 못함.

ㅇ 본 기술은 사람의 관절 정보와 주변 들고 가는 물체 정보를 활용하고, 학습 기반 방식으로 기존의 문제점을 해결
- 관절 수준의 움직임을 이용하여 사람과 물체를 들고가는 사람에 집중하는 방식을 취함
- 20여만 장의 데이터로 학습된 쓰레기 투기 판단 모듈을 이용하여 오탐지가 대폭 감소된 쓰레기 투기 행동 탐지기 제공
- 지능형 영상 감시에서 문제가 되는 오탐지 감소를 위한 기술에도 초점
- 세부기술 1. 사람 포즈와 물체 관계 활용 딥러닝 기반 쓰레기 투기 행위 판단 기술
. 포즈 기반의 행동 인식 엔진을 투기 행위를 감지하도록 개발한 기술
. 관절 및 물체 관계를 이용하여 실시간 의심 상황 인식이 가능하도록 적용

- 세부기술 2. 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술
. 다른 일반적인 행동 데이터가 갖는 행위들도 동시에 알려줌
. 사용자가 지정할 필요 없이, 투기물이 많은 지역을 자동으로 찾음
쓰레기 투기 행위를 판단하기 위한 SW 및 관련 기술로 인식 및 시각화 기술을 포함하여 추진하며, 다음의 세부기술들을 조건에 따라 조합하여 기술 이전됨

- 세부기술 1. 사람 포즈와 물체 관계기반의 투기 행위 의심 상황 탐지 엔진
. 주어진 동영상에서 전경 탐지 기술을 활용하여 사람의 외형을 탐지하는 기술
. 사람 관절 좌표들과 전경 탐지 기술을 활용하여 물체와의 관계를 인식하는 기술
. 학습 기반의 딥러닝 기술을 이용하여 최종적으로 투기 상황을 판단하는 기술

- 세부기술 2. 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술
. 멀티 태스크 학습을 이용한 여러 행동의 동시 추론 기술
. 쓰레기 투기 행동이 빈번하게 일어나는 지역 탐지 기술

o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과서

o 세부기술 1 : 사람 포즈와 물체 관계 기반의 투기 행위 의심 상황 탐지 엔진

- 특허

선별적 시각 인지 보조 장치 및 방법
영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석 기반 가변 배경 학습 방법 및 시스템
상호작용 이벤트 탐지 결과에 대한 신뢰도 평가 시스템 및 방법
비디오 해석 장치 및 방법
비디오 어노테이션 장치 및 방법

- 기술문서

의미 영역 분할을 위한 기술 설명서
불법 쓰레기 투기 검출을 위한 쓰레기 봉투 인식 실험
OpenPose 활용 방법
투기 행위 탐지를 위한 기술 설명서
단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향

- 프로그램

의미영역 분할을 위한 변화 탐지 프로그램
영상 기반 자동 투기 행위 탐지 프로그램

o 세부기술 2 : 쓰레기 투기 행동 오탐지 감소를 위한 장면 이해 기술

- 특허

영상에서 다수의 객체를 인식하는 방법
동적 물체 탐지 시스템 및 방법
비디오 어노테이션 장치 및 방법
데이터를 이용한 전이 학습 방법

- 기술문서

Object detection 최신 기술 분석
Hyper Feature Network 실험
Soft NMS와 Box Refinement

- 프로그램

객체 검출 시스템을 위한 데이터 계층 라이브러리
실시간성 딥러닝 프레임워크를 위한 심층 신경망 구축 프로그램
물체 검출 학습데이터의 증강과 균등화를 위한 프로그램
ㅇ 본 기술은 감시 환경에서 쓰레기 투기 행위 탐지라는 응용에 맞게 개발되었지만, 각 요소를 구성하는 기술은 여러 영상 환경에서 적용될 수 있고, 다음의 시나리오로 확장될 수 있음. 본 기술은 투기 행위 탐지에 최적화 되어 있어 사업화에 필요한 추가적인 기술 개발이 필요함

- CCTV 이벤트 분석 및 검색: 감시 영상에서 사람과 움직이는 영역에 집중하여, 이벤트 요약 및 주요 사건 검색을 지원하는 기술 분야
- 고령자 상태 및 행동 분석: 사람 포즈 기반의 기술로서 쓰러짐 등과 같은 위험 상태를 파악 및 사용하는 물체와 상호작용을 이해하는 방법으로 확장 가능