본 기술이전은 칼라 카메라로 입력되는 영상을 활용하여 사람의 맥박변이도를 실시간으로 측정하는 기술로써 다음과 같은 세부기능을 포함함
- 칼라영상에서 얼굴을 인식하고 68개의 얼굴의 주요 특징점들을 검출한 후 변화맥박변이도 측정 대상 다중 ROI 영역을 검출
- 얼굴 움직임에 강인하도록 정면 얼굴로 ROI를 변환
- 다중 ROI 영상으로부터 맥박에 의한 미세 색변화를 감지하여 맥박신호를 검출
- 결과 비교 검증을 위해 웨어러블 장치를 활용한 레퍼런스 신호들을 영상촬영과 동기화하여 측정
- 맥박신호에 맥박주기를 측정하기 위해 맥박신호의 피크를 검출
- 인접한 피크들 간의 간격을 계산하여 맥박주기를 검출
- 맥박주기 신호를 시간영역 및 주파수영역에서 분석하여 맥박변이도를 실시간으로 측정
- 최근 코로나 19 장기화로 인해 비대면 멘탈 헬스 케어에 대한 관심과 소비가 증가하고 있으나, 대부분 척도를 기반으로한 심리상담으로 서비스가 제공되고 있음
- 영상 기반 실시간 맥박변이도 측정 기술은 스마트 워치나 피트니스 밴드와 같은 접촉식 생체신호 검출 장치의 불편함을 해소하고 및 기기를 보유한 사용자만 상태를 분석할 수 있는 단점 극복이 가능함
- 특히, 비대면 상황에서 영상을 기반으로 사용자의 생체 정보를 검출하고 분석할 수 있기에 현 상황에서 빠르게 상용화될 수 있는 기술로 비대면 사용자 상태 분석 분야에서 기술선점이 가능함
- 본 시스템은 이러한 시장의 상황에 맞추어 영상을 기반으로 사용자의 맥박변이도를 실시간으로 측정할 수 있는 기술을 제공함
- 몸에 아무런 장치를 부탁하지 않고 칼라 카메라로 입력된 영상에서 심장 박동에 의한 피의 양 변화에 따른 얼굴의 피부색의 미세한 변화(육안으로는 식별이 어려움)를 감지하여 실시간으로 맥박변이도를 측정하는 기술
- 얼굴 검출 뿐만 아니라 얼굴의 주요 특징점들(68개의 점)을 검출하고, 다중 ROI를 생성(자기 가림에 강인)하여 맥박 측정에 필요한 영역을 안정적으로 유지할 수 있으므로, 시간영역 분석 주파수영역 분석을 통한 다양한 맥박변이도 지표들을 측정할 수 있음
- 번거로운 접촉식 센서의 부착이 필요 없으므로 다양한 상황(멘탈 헬스케어 등)에서 측정이 용이하며 특히 접촉식 센서의 부착이 불가능한 상황(예: 접촉식 센서 부착을 거부하는 장애 아동)에서는 보다 유용하게 활용될 수 있는 기술
<기술이전 내용>
- 영상으로부터 얼굴 검출 및 특징점 검출을 통해 맥박 측정을 위한 ROI 검출 기술
- 다중 ROI 영상에서 맥박신호 추출 기술
- 맥박 신호에서 실시간 맥박변이도 측정 기술
<기술이전 범위>
ㅇ 영상기반 실시간 맥박변이도 측정용 라이브러리(C++) 및 사용설명서
- 실시간 칼라 카메라 영상 캡쳐, 처리 및 저장 라이브러리
- 영상들에서 맥박신호의 신호의 실시간 추출 및 가시화 라이브러리
- 맥박신호를 입력으로 한 실시간 맥박변이도 측정 라이브러리
※ 공통으로 활용된 OpenCV 3.4 라이브러리는 포함되지 않음
ㅇ 영상기반 HRV 측정 프로그램 정리 외 기술문서 5종
ㅇ 영상기반 맥박변이도 측정 기술 요구사항정의서
ㅇ 영상기반 맥박변이도 측정 기술 시험절차 및 결과서
- 각종 심리안정 콘텐츠의 유효성 검증을 위한 기존 질의응답, 설문조사 등의 주관적인 방법에 비해 보다 객관적인 방법의 사용자 반응 측정/분석이 가능함
- 영상기반 실시간 맥박변이도의 측정을 통해 긴장, 스트레스 등의 사용자 상태를 파악할 수 있으며, 이를 멘탈 헬스케어 서비스에 활용할 수 있음
- 홈트레이닝, 심리상담센터 등지에서 비접촉으로 맥박 변이도를 측정하여 사용자의 상태를 제공하는 헬스, 상담 서비스 등에 활용할 수 있음