마스크 검출, 실내 출입 통제, 인간 추적, Access control, Human tracking
KSP Keywords
CCTV Camera, Re-Identification, face Recognition
Funding Org.
과학기술정보통신부
Research Org.
한국전자통신연구원, 엑스페릭스
Project Code
23HS1800, Face recognition and Re-ID Technology wirh mask face under CCTV camera,
Yoon Ho Sub
Abstract
▣ 연구개발 목표 및 내용 ◼ 최종 목표 □ CCTV 및 실내 출입통제시스템 환경을 포함하는 감시카메라 상황에서 마스크 착용 등으로 얼굴이 가려진 사람의 얼굴인식 및 해당 사람의 추적 및 재인식을 통하여 얼굴이 가려진 사람들에 대한 현 보안 시스템의 모니터링 기능 및 성능을 강화하고자 함 ○ 실시간(5건/초) Walking-through기반 Occluded 얼굴 고인식(FAR 30.0%이내) 및 휴먼 Re-ID 고인식(FAR 5%이내) 시스템 개발 - 대용량 실환경 Occluded 얼굴인증 및 다중 CCTV 휴먼 Re-ID 학습용 DB 제작 및 공개 - 인공지능 기술에 기반한 겹쳐진 얼굴인식 및 휴먼 재인식 기술을 결합해 현 보안 시스템 하드웨어와 모니터링 관제 시스템의 기능 및 성능 향상 - Walking-through기반 얼굴 인증 시스템 및 다중 CCTV기반 휴먼 Re-ID 시스템 기술 유효성 검증 및 실증 테스트
◼ 전체 내용 ○ 단일 CCTV 환경에서 마스크 등 가려진 얼굴 검출 및 인식 기술 개발 - 원거리, 소형 객체를 중심으로 마스크, 선그라스, 모자, 스카프 등으로 가려진 얼굴에 대한 정밀 검출 알고리즘(SW) 개발 - 다양한 Occlusion Type에 강인한 가려진 얼굴 인식을 위한 딥러닝 모델링 알고리즘(SW) 개발 - 가려진 얼굴의 정밀 복원(GAN) 알고리즘(SW) 개발 - 원거리 저해상도 얼굴영상 정밀 복원을 위한 영상 해상도향상(Super-resolution) 알고리즘(SW) 개발 - 다양한 포즈 변화에 강인한 얼굴인식 알고리즘 개발(SW) - Walk-through형 출입통제시스템에 적용 가능한 인공지능기반 가려진 얼굴인식 알고리즘(SW) 개발 ○ 다중 CCTV 환경에서 가려진 얼굴의 사람 추적 및 재인식 기술 개발 - 가려진 얼굴 사람의 추적 및 재인식을 위한 특징 분석 및 신경망 모델링 알고리즘(SW) 개발 - 얼굴, 신체로부터 획득된 특징 별 융합을 통한 추적 및 재인식 성능 향상 알고리즘(SW) 개발 - 가려진 얼굴의 사람 추적 및 재인식 알고리즘(SW) 개발 - CCTV 및 출입통제시스템에 적용 가능한 추적 및 재인식 시스템 개발 ○ 재인식 시스템 실증 테스트 및 데이터셋 공개 - 단일 CCTV 기반 Occlusion type(마스크, 선그라스, 모자, 스카프 등)별학습용 가려진 얼굴 DB 구축 - 다중 CCTV 기반 Occlusion이 포함된 학습용 가려진 Body DB 구축 - CCTV 및 출입통제시스템에 적용 가능한 추적 및 재인식 시스템 통합 시스템(SYS) 개발 및 안정화 - 지자체, 출입통제시스템과 연계한 기술 유효성 검증 및 실증 테스트 - Occlusion type별 학습 데이터셋(GT 포함) 공개
▣ 연구개발성과 □ Walking-through형 Occluded 얼굴 정밀 검출 알고리즘 핵심기술 개발 - 4가지 가려짐(마스크, 선글라스, 모자, 스카프)에 강인한 SCRFD 모델에 기반한 정밀 얼굴검출 알고리즘 개발 - 해당 기술은 관련 주요 평가항목인 ‘mAP 정확도’ 에서 93.78%이상의 성능을 보여 이번년도에 목표했던 90% 성능을 초과 달성하였음 □ Walking-through형 Occluded 얼굴 정밀 인식 알고리즘 핵심기술 개발 - 1차년도에 테스트에 사용한 데이터베이스는 고품질의 영상으로 구성된 데이터베이스로 근거리 신원인식 성능에 대응되는 데이터베이스에 가까움 - CCTV기반 walking-through 환경에 적합한 저품질 이미지를 포함한 데이터베이스에 대한 인식 성능을 비교하여 실제 환경에 가까운 결과를 예측 가능할 것으로 기대함 - 해당 기술은 관련 주요 평가항목인 ‘Rank1 정확도’에서 87.59%의 성능을 보임 □ Walking-through형 단일 CCTV에서 얼굴이 가려진 대상에 강인한 검출 및 추적 핵심 기술 개발 - 얼굴이 가려진 상황을 고려하여 대상의 특징 벡터를 파트로 분리하고, 각 파트 별 기준의 중요도를 각각 학습시키는 기술을 개발하였음 - 특히 얼굴이 가려진 상황에서의 데이터 합성방법을 통하여 얼굴에 대한 의존도를 다른 특징들에 비하여 낮추는 학습 방식을 적용하였음 - 해당 기술은 관련 주요 평가항목인 ‘MOTA 정확도’에서 69.2%의 성능을 보이며, 이번년도에 목표했던 65%를 초과 달성하였음 □ Walking-through형 다중 CCTV에서 얼굴이 가려진 대상에 강인한 Re-ID 핵심 기술 개발 - 인식 대상의 파트 별 중요 특징들 간의 관계를 분석하여 특징 벡터를 추출하는 학습 모듈 개발하였음 - 시공간적 분포를 함께 사용함으로써 CCTV 카메라 간의 시간대 기준 이동 예측 정보도 함께 사용하는 방법을 적용하였음 - 해당 기술은 관련 주요 평가항목인‘Rank-1 정확도’에서 91%의 성능을 보이며, 이번년도 목표했던 90%를 초과 달성하였음 □ 휴먼 Re-ID를 위한 CCTV 환경 이미지 DB 추가 구축 - DB 추가 구축 촬영 진행 시 관련 기관과 미팅 및 협의를 통하여 원활하고 빠른 대응책 마련, 촬영 진행 및 용이한 데이터 검출 - 100명x5일x2(의상)x3(시간대)x10(장소)x2(반복)로 제안한 DB 스펙의 Set 수를 맞추어 DB를 구축함 □ Walking-through형 Occluded 얼굴 학습용 데이터 수집 및 시스템 검증 - 100명x5일(의상)x3(해상도)x3(높이)x5(type)x3조명)x4(거리)x3(포즈)로 제안한 DB 스펙에 맞춰 DB를 구축함 - 다양한 실내 조명 환경을 위한 조명 조건 추가 · 50명 : 간접조명 아래에서 촬영 · 50명 : 직접조명 아래에서 촬영 □ Walking-through형 Occluded 얼굴인식 성능 테스트 프로세스 구축 - 자사 임직원을 대상으로 성능 테스트 진행 (약 25명) - 웹 카메라 또는 사진을 이용한 등록용 영상 DB 취득 (Gallery DB) - 임직원이 자주 이용하는 특정 위치(출입문, 탕비실 등)에 카메라를 설치하여 평가용 영상 DB 취득 (Probe DB) - 등록 DB와 평가 DB에 대한 얼굴 인식 성능 평가
▣ 연구개발성과 활용계획 및 기대 효과 ○ 활용계획 - 코로나 사태 등으로 공공 및 다중이용시설에서 마스크 착용에 따라 효용성이 떨어진 기존의 영상 보안 CCTV 시스템에 1차적으로 적용하여 감염자 동선 추적 및 접촉자 파악에 활용 - 본 과제 결과물은 SW 소스 코드, 라이브러리 형태로 활용할 수 있고, Occluded 얼굴영상 기반 얼굴인식 시스템은 다양한 CCTV업체들이 솔루션을 구축하는데 활용할 수 있으며, 데이터 셋은 인공지능 신기술 연구·개발에 활용 가능 - 본 과제에서 개발하는 핵심기술 SW의 기술이전 및 학습용 데이터셋 공개를 통해 인공지능 영상인식 커뮤니티를 활성화함으로써 지능형 CCTV 분야 및 영상인식 인공지능 분야의 비영리 기관의 연구개발을 활성화하고, 기업의 경우 기술이전과 적극적 지원을 통해 관련 제품의 활용도를 높임 - 본 기술은 다양한 영상관제 서비스 도메인에 적용할 수 있으며, 전방산업의 시장 규모가 크고 확장성이 높은 공항, 철도 등 대중 교통 요충지를 중심으로 수요처를 선제적으로 발굴하고 주관 및 공동기관의 기술이 결합된 ’Walking-through 형 휴먼 인식‘ 기술 확산을 추진함 ○ 경제적 기대효과 - 핵심 요소 기술의 과제 결과와 공동기관으로 참여하는 수요 기업의 과제 결과의 결합 활용을 통해 실 운영 중인 CCTV의 지능 수준을 향상할 수 있으므로 이를 통해 지능형 CCTV 휴먼 인식 기술 경쟁력 제고와 영상 보안 산업의 확산 토대 마련 가능 - 5G의 초연결·초저지연·초고속 특성을 기반으로 비용 증가 없이 다양한 영상 보안 인공지능 서비스를 제공할 수 있으므로 지능형 CCTV 상용화 확대는 물론 관련 파급 분야의 빠른 확산과 발전도 기대할 수 있음 - CCTV 보급률은 지속해서 증가하고 있지만, 지능형 감시 기능의 도입은 정체된 현 상황에서, 상용화 가능한 효과적인 지능형 감시 기능의 개발을 통한 경제적 효과 증대를 기대함
(출처 : 요약문 8p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.