보안 감시, 안전 관리, 유해 가스, 딥러닝, 데이터셋, Security surveillance, Safety management, Toxic gas, Deep learning, Dataset
KSP Keywords
Integrated Analysis, Multi-Spectral, Surveillance system, Video surveillance system, system development, video surveillance
Funding Org.
과학기술정보통신부
Research Org.
한국전자통신연구원
Project Code
23HR5800, Multi-spectral video integrated analysis technology and video surveillance system development,
Park Seong Hee
Abstract
□ 연구개발 목표 및 내용 ◎ 최종 목표 주요 보안시설 및 산업단지의 보안 감시와 안전 관리를 위하여 가시광 및 중·장파장 IR 영상을 취득하고, AI 학습 데이터셋을 구축하여 다중 스펙트럼 영상에 대하여 통합·연계 분석을 지원하는 다중 스펙트럼 영상분석 및 영상 보안감시 시스템 핵심 기술 개발 - 가시광(VIS), 중파장 및 장파장 대역 영상수집을 위한 VIS 및 IR카메라 개발 - 주요 시설물 보안 및 유해가스 노출 검출에 필요한 다중스펙트럼 영상 데이터셋 구축 - 다중 스펙트럼 영상기반으로 이상상태 및 유해가스 누출을 검출하기 위한 영상 딥러닝 기술 개발 - 가시광(VIS) 및 중파장 및 장파장 IR카메라의 연동과 협력을 위한 통합 관제 기술 개발 - 다중스펙트럼 영상 보안 감시시스템 실증사이트 구축 및 통합 검증
◎ 전체 내용 ○ 딥러닝 기반 영상 감시 시스템 개발 - 다중스펙트럼 영상감시 시스템 요구사항 정의 - 영상기반 감시영역 구성기술 설계 및 구현 · 신속/효율적 컴퓨팅 능력 확보를 위한 Geo-fencing 기술 - 영상 딥러닝 프레임워크 설계 및 구현 - 시설물 보호를 위한 이상상태 정의 및 특징점 도출 · 시설물 무단 칩임 및 탈출, 시설물 이상상태, 유해가스 유출 - 영상이미지 딥러닝 기술 설계 및 구현 · 실시간 이상상태 검출 및 분류 - 멀티 카메라/멀티 영상기반 감시영역 구성기술 시험 - 다중스펙트럼 영상감시 시스템 통합 테스트베드 구축 - 다중스펙트럼 영상감시장치 협력형 이상상태 검출 및 분류, 추적 기술 설계 및 구현 - 실증사이트 구축 및 시험 · VIS/중.장파장 IR카메라, IoT네트워킹 인프라 장치, Edge computing 장치, 이상상태 학습 서버, 다중스펙트럼 카메라 통합관제 센터 ○ 이상상태 행동 학습기술 개발 - 이상상태 및 행위 영상 수집 및 분류 - 이상상태 및 행위 영상 분류를 위한 딥러닝 설계 및 구현 - 이상상태 객체 추적 딥러닝 설계 및 구현 - 이상 상태 분류 기반 “지도학습, 준지도 및 비지도 학습 모델” 개발 및 검증 - 다중스펙트럼 영상기반 이상상태 검출 결합형 딥러닝 모델 개발 및 검증 ○ 영상 네트워킹 인프라 및 관제 기술 개발 - 멀티 카메라 연동을 위한 IoT 네트워킹 기술 설계 및 구현 - 다중스펙트럼 영상감시 장치 제어플랫폼 설계 및 구현 - 다중스펙트럼 영상감시 장치 제어플랫폼 통합 및 기능시험 - 멀티 IoT기반 영상카메라 관제시스템 설계 및 구현 - 멀티 IoT기반 영상카메라 관제시스템 통합 및 시험 - 멀티 IoT기반 영상카메라 관제시스템 실증사이트 구축 - 멀티 IoT기반 보호지역 이상상태 객체 추적 플랫폼 설계 및 구현 - 멀티 IoT기반 보호지역 이상상태 추적플랫폼 실증사이트 구축 - 실증사이트 시험 및 성능 개선 ○ 다중 스펙트럼 카메라 개발 - VIS/초저조도 VIS/중.장파장 IR 카메라 센서 및 렌즈 설계 및 구현, 카메라 제작 · 유해가스 파장 검출 필터 및 제어기술 - VIS/중.장파장 IR 카메라 제어프로토콜 설계 및 구현 - VIS/초저조도 VIS/중.장파장 IR 카메라 제어프로토콜 설계 및 구현 - 카메라 제어 PTZ 설계 및 구현 - 초저조도 VIS, 중.장파장 카메라 일체형 카메라시스템 구축 ○ VIS, 중·장파장 IR 영상 데이터셋 구축 - 주·야간 보호시설 이상상태, 시설물 침입, 유해가스 유출 영상획득 - 주·야간 획득 영상 데이터셋 구축 - 주·야간 획득 영상 데이터 메타데이터 생성
□ 연구개발성과 ○ 영상기반 감시영역 구성 기본 기술 개발 ■ 침입자 검출 및 추적을 위한 가상펜스 구성 기술 ■ 가상펜스 동적 구성 기술 ■ 다중 영상센서 기반 보호지역 구성 기술 ■ 영상카메라 원격 임무 할당/재배치 기술 ○ 영상 딥러닝 프레임워크 개발 ■ 이상행동 영상 딥러닝 프레임 워크 개발 - 3-Stage 기반 이상행위 검출 기술 개발 - 이상행동 판단기 학습 모델 전처리기 개발 - 이상행동 판단기 추론 모델 전처리기 개발 - 다층 구조 기반 이상행동 결정 모델 개발 - 지연 최소화 추론 큐 제어 모듈 개발 - 이상행동 검출 딥러닝 모델 실환경 성능 평가 ■ 유해가스 객체 분할 딥러닝 프레임 워크 개발 - 유해가스 객체 분할 딥러닝 추론 시스템 개발 - 유해가스 객체 분할 딥러닝 모델 학습 시스템 개발 - 유해가스 객체 분할 딥러닝 모델 실환경 성능 평가 ○ 멀티 카메라 및 카메라 개별 영상 기반 감시 영역 구성 기술 시험 ■ 침입자 검출정확도 향상을 위한 영상 기반 Geo-fencing 구성 기술 ■ 영상카메라 원격 임무 할당/협력/ 재배치 기술 ■ 영상카메라 기반 침입자 검출 Geo-fencing 시뮬레이터 제작 ■ 딥러닝 기반 침입자 객체 이미지 크기 영향 분석 ○ 다중스펙트럼 영상감시장치 협력형 이상상태 검출 및 분류, 추적 기술 개발 ■ 이상행위 검출 추론 시스템 및 연동 기술 개발 - 객체 검출 및 골격 추출 모듈 구현 - 이상행위 객체 추적을 위한 카메라 제어 기능 개발 - 가변 프레임 기반 행위 결정 모듈 개발 ■ 유해가스 검출 추론 시스템 연동 기술 개발 - 실시간 유해가스 검출 웹 서버 구현 - 실시간 유해가스 검출 추론 웹 서비스 인터페이스 구현 ○ VIS, 중·장파장 IR 영상 데이터셋 구축 ■ 이상행동 학습 데이터세트 영상 획득 - 영상 데이터 획득을 위한 VIS 카메라 제어 모듈 구현 - 이상행동 학습 데이터세트 저작도구 개발 ■ 유해가스 학습 데이터세트 영상 획득 - 영상 데이터 획득을 위한 IR 카메라 제어 툴 구현 - 영상 데이터 이미지 데이터 추출 툴 구현 ■ 주·야간 획득 영상 데이터셋 구축 - 학습 및 검증을 위한 Annotation 자동화 모듈 개발 ■ 주·야간 획득 영상 데이터 메타데이터 생성 - 이상행동 데이터세트 메타데이터 추출 - 이상행동 데이터세트 메타데이터 관리 및 운용 - 유해가스 마스크 이미지 생성 툴 구현 - 유해가스 데이터세트 메타데이터 관리 ○ 영상 네트워킹 인프라 및 관제 기술 개발 ■ 멀티 카메라 연동을 위한 IoT 네트워킹 기술 설계 및 구현 ■ 다중스펙트럼 영상감시 장치 제어플랫폼 설계 및 구현 ■ 안드로이드 기반 모바일 관제 프로그램 구현 ■ 다중스펙트럼 영상 협력 기술 개발 ■ 멀티 IoT기반 영상카메라 관제시스템 설계 및 구현 ■ 다중스펙트럼 영상 카메라 동작상태 관리 기술 개발 ○ 다중 스펙트럼 카메라 개발 ■ 유해가스 파장 검출 필터 및 제어기술 ■ 초저조도 VIS, 중·장파장 IR 카메라 제어프로토콜 설계 및 구현 ■ 중·장파장 IR 카메라 설계 제작 ■ 초저조도 VIS 카메라 설계 제작 ■ 카메라 제어 PTZ(Pan, Tilt, Zoom) 설계 기술 개발 ■ 초저조도 VIS, 중·장파장 카메라 일체형 카메라 시스템 개발 ○ 동영상 기반 이상 상태 분류 딥러닝 알고리즘 및 모델 개발 ■ 이상 상태(행위분류) 분류 학습/테스트 데이터세트 레이블링 기술 개발 ■ 동영상 기반 이상 상태 분류 딥러닝 알고리즘 및 모델 개발 ■ CONV-VRNN 기반 이상상태 분류 딥러닝 모델 구현 ○ VIS, IR 동영상 기반 이상 상태 검출 객체 추적모델 개발 ■ 이상 상태(휴먼 행위) 기반 객체 추적 및 분류 모델 개발 ○ 이상 상태 검출 다중스펙트럼 데이터 기반 결합형 검출모델 개발 ■ 다중스펙트럼 결합형 딥러닝 모델 개발 ■ 엣지 컴퓨팅 기반 결합형 딥러닝 경량화 모델 개발 ○ 다중스펙트럼 영상감시 시스템 통합 테스트베드 및 실증사이트 구축 및 시험
□ 연구개발성과 활용계획 및 기대 효과 [활용계획] ○ 해안 포구 내 미식별선박 인지를 위한 영상감시 관제시스템 구축에 활용 - 해안포구 내 미식별선박 인지를 위해서는 멀티 영상카메라를 구축해야 하는 바 카메라 영상을 확인하고 선박인지를 위한 멀티 IoT 영상카메라 관제시스템 구축이 요구됨 ○ 전방 과학화 경계시스템을 위한 다중스펙트럼 영상카메라 구축에 활용 - 전방 등 과학화 경계시스템 구축을 위해서는 주, 야간 적의 위협을 감지하기 위한 다중스펙트럼 카메라 시스템 구축이 요구됨 ○ 다중스펙트럼 영상기반 이상상태 검출 기술의 활용 - 주요시설물(전선 철책, 공항, 원전) 및 산업단지 유해가스 원격 검출 시스템으로 활용 - 유해가스 노출감지 외산장비 “RAPID”를 대체 ○ 다중스펙트럼 영상 관제기술의 활용 - 검출한 객체의 이동성을 기반으로 카메라간에 정보를 공유하고 추적하는 지능형 CCTV의 통합관제에 적용 - 3차원 공간맵과의 연동을 통해 카메라간 임무 분할 및 협력이 가능한 동적 카메라 제어기술을 군분야의 무인자동 관제 시스템으로 활용 ○ 유해가스 검출용 통합형 VIS/IR 영상장치의 활용 - 특정 유해가스를 검출할 수 있는 다양한 광학필터를 적용하여 다중임무 수행이 가능한 통합형 VIS/IR카메라로 활용 ○ 다중스펙트럼 영상기반 이상 상태 검출 결합형 딥러닝 모델 - 시설물 침입자 혹은 이상 행위자의 실시간 검출 - 유해가스 누출 상태를 추정하여 선제 대응할 수 있는 기술을 고위험도 시설물 경계 및 위험 감지 분야에 활용 ○ 유해가스 검출용 데이터셋의 활용 - 유해가스별로 측정한 데이터셋의 메타작업을 통해 다양한 산업 및 의료, 연구기관에서 활용
[기대 효과] ○ 기술적 측면 : 외부의 침입자들로부터 국가 주요 보안시설물을 상시 감시할 수 있는 다중스펙트럼 카메라 및 영상 딥러닝기술을 통해 신속 및 정확성이 높은 영상 기반의 지능형 무인감시체계기술을 확보하고, 산업화에 따라 필연적으로 발생하는 유해가스의 노출로부터 인적, 물적피해를 저감시킬 수 있는 영상딥러닝 기술 확보 ○ 경제적, 산업적 측면 : 핵심부품 및 솔루션의 국산화를 통해 기술 및 시장 경쟁력 확보 뿐만 아니라 수출입 구조 변화를 통해 국부유출을 방지하여 수출경쟁력을 확보하고 관련 기술의 제품화를 통해 총 7,641억원의 생산유발, 2,345억원의 부가가치유발, 1천3백여명의 고용유발 등 경제적 파급효과 예상 ○ 사회적 측면 : 유해가스의 다양한 스펙트럼 영상정보의 실시간 분석을 통해 복잡한 산업사회에 대한 안전사고(유해물질 누출, 화재 등)를 미연에 방지함으로써 안전한 삶에 대한 욕구를 충족
(출처 : 요약문 3p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.