재난상황 대비 이용자 인지 센서 모듈은 카메라 영상을 입력하여 인공지능 모델 추론(Inference) 결과를 중점 트래킹하여 이용자 움직임을 검출하고, 레이다의 이용자 검출을 추적하여 이용자 동선을 확보한다. 카메라와 레이다 추적시 임계치를 설정하여 임계치를 넘어설때 이용자 입출력(IN/OUT) 카운팅을 처리한다. 최종적으로 카메라 센서와 레이다 센서의 단순 융합을 통한 트래킹 우선순위를 처리하게되며, 정상 상황에서는 카메라 트래킹 결과가 있을때 카메라 트래킹을 우선적으로 카운팅하고, 카메라 트래킹이 없을 때 나타나는 레이다 트래킹을 차선으로 이용한다
- 기술이전의 목적: 임베디드 인공지능 추론을 통해 목표물을 검출하여 추적하고 특징을 처리하며, mmWave 레이다를 활용하여 목표물을 검출 추적하며, 이 두센서 간의 상위 수준 융합을 통해 상황별 인지 능력을 높이고자 할 때 사용하고자 하는 기술임
라즈베리파이와 같은 임베디드 환경에서 인공지는 가속기(Coral Acclerator)를 활용하여 VGA 영상을 15fps 성능으로 목표물(이용자)을 인지하여 추적하고 임계점을 정의하여 이용자를 카운팅 할 수 있는 SW
라즈베리파이와 같은 임베디드 환경에서 TI사의 IWR6843AOP(20Hz) 레이다를 활용하여 상부에서 이용자를 트래킹하고 그 추적을 통한 임계점 상황에서 이용자를 카운팅 할 수 있는 SW
라즈베리 파이와 같은 임베디드 환경에서 두 SW간 쓰레드 처리하는 기술
카메라와 레이다간 단순 고순위 융합을 통해 우선순위 기반 카운팅 처리하는 SW로 카메라 영상이 정상적일때는 카메라 검출 결과를 기반으로 카운팅하고, 재난상황(연무, 화재, 등)과 야간 조명이 없는 경우 레이다를 우선으로 카운팅 하는 기술 특징이 있음
- 영상 사이즈 및 처리속도: VGA급 15fps
- radar 처리속도 : TI사의 IWR6843AOP 20Hz
- 센서융합방법: 고수준 융합으로 정상상태에서는 카메라 우선으로, 앞이보이지 않을 경우 레이다 우선으로 융합
" Bigdata 활용, 시설물 안전 대피 및 관리기술 개발" 사업 중 제2세부과제로서 “재난감지 및 최적대피경로 선정기술” 개발에서 복합건물 내 화재 등 재난상황을 대비한 센서네트워크를 통한 이용자 대피 및 안전관리를 향상시키기 위하여 재난상황을 대비한 이용자 인지 센서 모듈 기술 개발에 대한 내용으로 기술이전 내용은 아래와 같다.
- 임베디드 환경에서 카메라 영상을 입력하여 인공지능 모델 추론(Inference) 결과를 중점 트래킹하여 이용자 움직임을 검출하는 SW(Python)
- 임베디드 장치에서 레이다의 이용자 검출 결과를 추적하여 이용자 동선을 확보하는SW (Python)
- 카메라와 레이다 추적시 임계치를 설정하여 임계치를 넘어설 때 이용자 입출력(IN/OUT) 카운팅을 처리하는 SW(Python)
- 최종적으로 카메라 센서와 레이다 센서의 단순 융합을 통한 트래킹 우선순위를 처리하게 되며, 정상 상황에서는 카메라 트래킹을 우선하고, 재난(연무, 화재 등)상황에서 카메라 트래킹이 나타나지 않을때 레이다 트래킹을 우선으로 이용하여 카운팅을 융합하는 SW (Python)
- 재난상황 대비 이용자 인지 센서 모듈 기술 요구사항 정의 문서(참고, 최종 요구사항 정의서에서 이용자 인지 센서 모듈에 대한 노랑색 마크한 부분)
- 재난상황 대비 이용자 인지 센서 모듈 기술 시험절차및결과서(최종): 본 문서는 정확한 Qmark 시험을 위해 시험절차와 결과를 통합하여 제공함
성능목표: VGA급 영상에서 10 Fps 이상, 95%이상 보행자 추적
(랩 시험시 15fps, 98%추적, KCL 시험확인서 보유)
- 재난상황 대비 이용자 인지 센서 모듈 기술 Python 소스 코드(최종)
- 제공하는 Python 등록 프로그램 및 특허 실시권
- 적용분야: 저가 임베디드 상황에서 차량 주변 목표물 검출분야, 중대재해법에 따른 특수차량 등의 안전 지원 분야, 재난상황을 대비한 목표물 검출 분야 등
- 기대효과: 라즈베리 파이 등과 같은 작은 임베디드 장치에서 딥러닝 추론을 활용하여 주변 목표물을 추적하고, 특징점에 따라 카메라와 레이다의 융합을 통한 상황별 서비스 제공