ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

딥러닝기반 마스크등 가려짐에 강인한 얼굴인식 및 시선추적기술

전수책임자
윤호섭
참여자
김재홍, 문종원, 윤호섭, 장재윤
기술이전수
4
이전연도
2022
협약과제
20PS2400, 서비스 로봇의 사회적 상호작용을 위한 소셜 로봇지능 원천 기술 개발, 윤호섭
21HS5800, 감시카메라 기반 마스크 착용자 얼굴인식 및 재인식(Re-ID) 기술 개발, 윤호섭
22HS2500, 감시카메라 기반 마스크 착용자 얼굴인식 및 재인식(Re-ID) 기술 개발, 윤호섭
본 기술은 CCTV 카메라나 일반 USB 카메라를 대상으로 얼굴 영상을 입력받아 마스크 착용자의 얼굴을 자동으로 검출하고 검출된 얼굴로부터 다각도 등록이 가능하며, 딥러닝(deep learning)기술에 기반해 조명, 표정, 포즈, 액세서리 변화에 강인한 얼굴 속성 인식 기술이다.
얼굴인식 기술은 지문, 홍채, 손등 인식과 같은 다양한 생체인증 시스템에 비해 비 접촉식으로 생체정보 획득이 가능하여, 가장 사용자로 부터 인증에 따른 거부감이 적은 생체 인증 기술이다. 그러나 타 생체정보에 비해 등록된 인식 정보와 입력된 인식 정보간의 차이가 카메라와 얼굴과의 거리, 조명, 표정, 포즈, 액세서리 변화 등에 따라 가변적으로 크게 발생하고, 시간이 지남에 따라 Aging에 영향을 받으며 또한 일란성 쌍둥이와 같이 유사한 얼굴일 경우 인식이 어렵다는 단점이 존재하였다.
딥 러닝 기술이 알려지기 전까지, 기존의 얼굴인식 기술은 앞서 언급한 단점을 해결하지 못해, 조명, 포즈, 표정, 액세서리 변화에 강인한 인식 성능을 제공하지 못하였으나, 본 기술에서는 얼굴 Big data에 기반한 최신 딥 러닝 기술을 개발하여, 조명, 포즈, 표정, 액세서리 변화에 강인한 얼굴 정보 인식 기술을 개발하였다.
. 딥러닝 기반 실시간 마스크 착용자 얼굴인식 기술
- 일반 CCTV 카메라나 저가의 USB 카메라 환경에서도 모두 적용 가능
- 1,000명을 등록시키고, 인식 검증 테스트시 조명, 표정, 포즈, 액세서리 변화에 모두 99%이상 인식/검증 성능 제공(KISA 인증 테스트 DB 참조)
- 마스크 착용 여부 판별 기능 제공
- dot-matrix breaking GUI를 이용한 다중 얼굴등록
- 640x480일반 사양의 컴퓨팅 환경에서 초당 10~15 프레임 이상의 실시간 얼굴 검출 및 인식
- 명암 정보를 사용한 얼굴인식 기술
- 추출된 얼굴 영역은 112x112 이상되면 최적의 인식 성능을 보임
- 28 x 28 크기부터 얼굴 검출 및 인식이 가능하나 검출 크기가 작을수록 인식율이 감소함
- 동시에 다수의 얼굴이 입력돼도 검출 및 인식 가능
- 등록되지 않은 사람이 입력되었을 경우 비 등록자(unknown)으로 인식하는 검증 기능 포함
- 마스크 착용시에도 높은 인식 성능 보임
- 검증시 유사도 임계치(threshold)를 조절하여 검증 확신도 조정 가능
- KISA 얼굴인증 기술 바이오인식시스템 성능 인증 획득
- KISA에서는 국제 표준화기구(ISO/IEC JTC1/SC37)에서 권고하는 성능시험 기준 및 절차를 기본으로, 바이오인식 제품 알고리즘에 대한 성능을 시험하여 적합한 기준을 통과한 제품에 한해 인증을 해주고 있음
- 조명, 표정, 포즈, 액세서리 변화에 1,000명을 대상으로 테스트 했을시, 모두 99%이상의 인식, 검증 성능을 인증 받았으며, 특히 조명 변화는 99.9%의 높은 인식, 검증 성능을 보임
- 얼굴인식 기술이전 시 KISA 인증서, 시험결과 보고서 활용 가능
- 인증서 첨부 1 참조
- 성능 시험 결과 첨부 2 참조

. 딥러닝기반 마스크 착용자 랜드마크 검출, 시선추적 및 다중등록 기술
- dot-matrix breaking GUI를 이용한 다중 얼굴등록
- 조명변화에 강인한 68 or 98개의 랜드마크 검출
- 딥러닝에 기반한 시천추적기술
※본 기술은 전체 혹은 세부기술별로 기술이전이 가능함

■ 기술이전의 내용
(세부기술1) 딥러닝기반 마스크 착용자 실시간 얼굴인식 기술
- 내국인 혹은 외국인 얼굴 실시간 자동 검출 기술
- 내국인 혹은 외국인 얼굴 마스크 착용 감지 기술
- 내국인 혹은 외국인 얼굴 실시간 자동 인식/검증 기술

(세부기술2) 딥러닝기반 마스크 착용자 랜드마크 검출, 시선 추적 및 다중 등록 기술
- 내국인 혹은 외국인 얼굴 마스크 착용 감지 기술
- 68 포인트 랜드마크 검출 및 이를 기반으로한 시선 추적 기술
- do-matrix breaking 방법의 GUI에 기반한 다중 얼굴등록 방법

(세부기술3) 이전 버전의 A, B 기술의 업그레이드 기술
- 이전 A, B 기술의 업그레이드 버전
- 이전 A, B 기술의 라이브러리 및 소스 코드

■ 기술이전의 범위
(세부기술1) 딥러닝기반 마스크 착용자 실시간 얼굴인식 기술
- 국내 혹은 외국인 얼굴 자동검출, 인식/검증 라이브러리 및 소스 코드
- window 및 리눅스 버전
- Pytorch or ONNX 버전

(세부기술2) 딥러닝기반 마스크 착용자 랜드마크 검출, 시선 추적 다중 등록 기술
- 실시간 랜드마크 검출, 시선 추적, 다중 등록 GUI 라이브러리 및 소스 코드
- window 및 리눅스 버전
- Pytorch or ONNX 버전

(세부기술3) 이전 버전 세부1,2기술의 업그레이드 기술
- 이전 1,2 기술을 기술 이전한 업체에 한함
- 이전 1,2 기술 전체가 아닌 일부 기술(예: 1세부기술) 만을 이전한 업체는 해당되는 일부 기술(예: 1세부기술) 업그레이드 만 제공
- 이전 버전의 1,2기술의 해당 기술은 아래와 같음
[※인공지능기반 마스크등 가려짐에 강인한 얼굴인식 및 시선추적기술, 인공지능(딥러닝)기반 얼굴, 표정, 성별, 연령인식기술, 다용도 등록이 가능한 딥러닝기반 얼굴, 성별, 연령인식기술, 다각도 인식이 가능한 딥러닝기반 얼굴, 성별, 연령 인식 기술, 딥 러닝기반 조명, 표정, 포즈 변환에 강인한 얼굴인식 기술, 지능형 로봇을 위한 시청각 융합 HRI 컴포넌트(얼굴인식/화자인식/음원추적/호출제스처인식/휴먼추종)]
얼굴 인식시스템은 현재도 출입자 관리, 화면 보호기, 은행 입/출입 및 얼굴 관련 콘텐츠 생성 등 많은 활용방안이 존재한다. 또한 본 기술은 국내 얼굴인식 기술뿐 아니라 국외 얼굴인식 기술을 사용하는 모든 나라에서 활용 가능한 장점이 있어, 기술이전 후 국내 I생체인증 시스템의 수출증대 효과가 있다.