본 기술이전은 딥러닝 기술을 활용하여 입력 얼굴 영상에서 대상자의 맥박 신호 (PPG:photoplethysmography) 및 맥박수를 검출하는 기술로써 다음과 같은 세부 기능을 포함함
- 노이즈 제거 및 생체신호의 정확도를 향상 시키기 위해 어텐션을 활용하여 컬러 영상에서 PPG 신호가 검출되는 얼굴 피부 영역에 가중치를 부여함
- 얼굴 영상 데이터로부터 PPG 신호를 추정하는 학습 모델을 기반으로 대상자의 PPG 신호를 추정함
- 추정된 PPG 신호를 주파수 영역에서 필터링(심박 정보 이외의 정보를 제거)하고 분석하여 평균 맥박수를 계산함
- 640 x 480 @30fps의 실시간 컬러 카메라 입력을 기준으로 영상 기반 생체신호 검출 기능은 15fps이상의 검출 속도를 제공함
- 공개 데이터세트 기반으로 맥박수 측정 정확도는 4 MAE 이내 값을 제공함
- 코로나19의 요인으로 기업들이 온라인 채용 전형을 선택함에 따라 온라인 비대면 면접 서비스가 급속도로 발전하고 있음
- 하지만, 현재 비대면 면접 서비스는 초기 단계로 기초적인 영상 회의 시스템을 기반으로 면접이 진행되고 있음
- 딥러닝을 활용한 영상 기반 생체신호 측정 기술은 면접자의 영상으로부터 생체신호를 분석하여, 면접을 진행 중인 인사담당자에게 현재 질의응답 상황에 관한 면접자 상태의 객관적 데이터 제공이 가능함
- 또한, 딥러닝을 활용한 영상 기반 생체신호 측정 기술은 온라인 환경에서 원격으로 사용자를 분석하는 기능을 제공하기에 다양한 비대면 서비스를 제공할 수 있음
- 몸에 아무런 장치를 부탁하지 않고 웹캠 영상, 동영상 등 사용자의 얼굴 영상에서 심장 박동에 의한 혈액량 변화에 따른 피부색의 미세한 변화를 딥러닝 모델을 활용하여 검출하여, 사용자의 PPG 신호 및 평균 맥박수를 측정하는 기술임
- 다양한 환경 노이즈에 강인하고, 정확한 생체신호(맥박)검출을 위해, 생체신호 검출 영역을 탐색하는 어텐션 기술을 기반으로 빠르고 정확한 측정이 가능함
- 번거로운 접촉식 센서의 부착이 필요 없으므로 다양한 상황(비대면 면접, 멘탈 헬스케어 등)에서 활용이 가능하며, 특히 접촉식 센서의 부착이 불가능한 온라인 환에서 유용하게 활용될 수 있는 기술임
<기술이전 내용>
* 딥러닝 기반 영상 생체신호 획득 기술
- 입력 영상에서 생체신호가 검출되는 영역 어텐션 기능
- 얼굴 입력 영상 기반 맥박 신호 추정 및 맥박수 검출 기술
<기술이전 범위>
ㅇ 딥러닝 기반 영상 생체신호 획득 패키지(Python) 및 사용설명서
- 테스트용 실시간 칼라 카메라 영상 캡쳐, 처리 및 저장 모듈
- 영상 입력 기반 맥박 신호 검출 및 가시화 모듈
- 맥박 신호 기반 분당 맥박수 검출 모듈
※ 영상 테스트 용도로 활용된 OpenCV 3.4 라이브러리는 포함되지 않음
ㅇ 실생활 PPG 심박수 검출 기술 외 기술문서 10종
ㅇ 영상기반 생체신호를 활용한 실시간 AI면접 분석 서비스 (딥러닝을 활용한 영상기반 생체신호 획득 기술) 요구사항정의서
ㅇ 영상기반 생체신호를 활용한 실시간 AI면접 분석 서비스 (딥러닝을 활용한 영상기반 생체신호 획득 기술) 시험절차 및 결과서
- 각종 심리안정 콘텐츠의 유효성 검증을 위한 기존 질의응답, 설문조사 등의 주관적인 방법에 비해 보다 객관적인 방법의 사용자 반응 측정/분석이 가능함
- 영상기반 실시간 맥박변이도의 측정을 통해 긴장, 스트레스 등의 사용자 상태를 파악할 수 있으며, 이를 멘탈 헬스케어 서비스에 활용할 수 있음
- 홈트레이닝, 심리상담센터 등지에서 비접촉으로 맥박 변이도를 측정하여 사용자의 상태를 제공하는 헬스, 상담 서비스 등에 활용할 수 있음