본 기술은 CCTV 카메라나 일반 USB 카메라를 대상으로 얼굴 영상을 입력받아 마스크 착용자의 얼굴을 자동으로 검출하고 검출된 얼굴로부터 성별, 연령, 표정, 객체등을 딥러닝(deep learning)기술울 이용해 강인하게 인식하는 기술이다.
얼굴인식 기술은 지문, 홍채, 손등 인식과 같은 다양한 생체인증 시스템에 비해 비 접촉식으로 생체정보 획득이 가능하여, 가장 사용자로부터 인증에 따른 거부감이 적은 생체 인증 기술이다. 그러나 타 생체 정보에 비해 등록된 인식 정보와 입력된 인식 정보간의 차이가 카메라와 얼굴과의 거리, 조명, 표정, 포즈, 액세서리 변화 등에 따라 가변적으로 크게 발생하고, 마스크등 가려짐이 발생하면 인식이 어렵다는 단점이 존재하였다.
본 기술에서는 얼굴 및 객체의 Big data에 기반한 최신 딥러닝 기술을 개발하여, 조명, 포즈, 표정, 액세서리 변화 및 마스크 등 가려짐에 강인한 표정, 성별, 연령 및 객체 인식 기술을 개발하였다.
. 내국인 빅 데이터를 이용한 마스크 착용자 성별/연령 인식 기술
- 내국인 빅 데이터가 학습에 참여
- 내국인에 대해 성별, 연령 인식의 정확도 높임
- 얼굴 인식시와 동일한 특징을 사용하여, 특징 추출의 시간이 걸리지 않음
. 내외국인 빅 데이터를 이용한 표정 인식 기술
- 기쁨, 슬픔, 놀람, 공포, 분노, 혐오 등 기본적인 6가지 감정을 학습시켰으나, 혐오 감정은 한국인이 짖기 힘든 감정으로 이를 평상으로 대치함
- 일반 CCTV 카메라나 저가의 USB 카메라 환경에서도 모두 적용 가능
- 640x480일반 사양의 컴퓨팅 환경에서 초당 10~15 프레임 이상의 실시간 얼굴/객체 검출 및 인식
- 명암 정보를 사용한 얼굴 표정인식 기술
- 추출된 얼굴 영역은 128x128 이상되면 최적의 인식 성능을 보임
- 28 x 28 크기부터 얼굴/객체 검출 및 인식이 가능하나 검출 크기가 작을수록 인식율이 감소함
- 동시에 다수의 얼굴/객체가 입력돼도 검출 및 인식 가능
. 다양한 환경에서 학습데이터를 이용한 객체 인식 기술
- 일반 CCTV 카메라나 저가의 USB 카메라 환경에서도 모두 적용 가능
- 100개의 객체을 등록시키고, 인식 검증 테스트시 겹침, 회전, 앞뒤 변화 변화에 모두 99% 이상 검출 및 인식 이상
- 640x480일반 사양의 컴퓨팅 환경에서 초당 1~5 프레임 이상의 실시간 객체 검출 및 인식
- 명암 정보를 사용한 객체 검출 및 인식 기술
- 객체 검출 및 인식을 위한 대용량 DB 확보
- 객체 검출과 인식기를 따로 분리하여 설계
- 동시에 다수의 객체가 입력돼도 검출 및 인식 가능
- 동시에 다수의 개체가 서로 겹쳐져서 있을 경우에도 검출 및 인식 가능
- 객체의 전체 크기 중 30%까지 겹쳐져 있을 경우에도 검출 및 인식 가능
- 등록되지 않은 객체이 입력되었을 경우 비 등록 객체(unknown)으로 인식하는 검증 기능 포함
- 검증시 유사도 임계치(threshold)를 조절하여 검증 확신도 조정 가능
- 100개 이상의 알약 영상 데이터베이스를 이용하여 검출 및 인식 성능 테스트
[기술이전의 내용]
1. 세부기술명: 딥러닝기반 겹침에 강인한 성별 및 연령인식 기술
- 내국인 혹은 외국인 얼굴 마스크 착용 감지 기술
- 내국인 얼굴 실시간 자동 검출 기술
- 내국인 얼굴 실시간 자동 성별, 연령 인식 기술
2. 세부기술명: 딥러닝기반 실시간 표정인식 기술
- 내국인 혹은 외국인 얼굴 마스크 착용 감지 기술
- 내국인 얼굴 실시간 자동 검출 기술
- 내국인 얼굴 실시간 자동 표정 인식 기술
3. 세부기술명: 딥러닝기반 겹침에 강인한 실시간 객체인식 기술
- 겹침에 강인한 실시간 객체 검출 기술
- 겹침에 강인한 실시간 객체 분류(classification) 기술
[기술이전의 범위]
1. 세부기술명: 딥러닝기반 겹침에 강인한 성별 및 연령인식 기술
- 얼굴 자동검출, 성별 및 연령인식 라이브러리 및 소스 코드
- window 및 리눅스 버전
- Pytorch or ONNX 버전
2. 세부기술명: 딥러닝기반 실시간 표정인식 기술
- 얼굴 자동검출, 표정인식 라이브러리 및 소스 코드
- window 및 리눅스 버전
- Pytorch or ONNX 버전
3. 세부기술명: 딥러닝기반 겹침에 강인한 객체 인식 기술
- 객체 자동검출, 인식 라이브러리 및 소스 코드
- window 및 리눅스 버전
- Pytorch or ONNX 버전
얼굴 정보 및 객체 인식시스템은 현재도 출입자 관리, 화면 보호기, 은행 입/출입 및 얼굴 관련 콘텐츠 생성 등 많은 활용방안이 존재한다. 또한 본 기술은 국내 얼굴 및 객체 인식 기술뿐 아니라 국외 얼굴 및 객체 인식 기술을 사용하는 모든 나라에서 활용 가능한 장점이 있어, 기술이전 후 국내 얼굴 및 객체인식 시스템의 수출증대 효과가 있다.