본 기술은 입력 영상의 공간·시간 정보를 인코더로 압축하고, 디코더로 시간축을 복원하여 얼굴 영상에서 PPG 신호를 추정하는 딥러닝 모델이며, 장·단기 시공간 특징을 동시에 모델링하는 특징을 가지고 있음
- 인코더는 프레임 간 색 변화와 얼굴 영역의 공간 패턴을 점차 추상화 하여, 생체신호의 장기 주기 정보를 담은 특징을 생성
- 디코더는 장기 정보가 담긴 특징을 다시 길이가 긴 시퀀스로 펼쳐, 각 시간 위치가 전체 맥락을 반영
- 스킵커넥션은 인코더의 단기·로컬 정보와 디코더의 장기·글로벌 정보를 동시에 활용하여 정보 손실을 최소화
- TRAM 모듈은 인코딩된 특징의 시간 정보 불일치 문제를 어텐션 메커니즘 기반 알고리즘으로 해결하여, 장단기 특징의 최적화된 정보 결합을 달성하고 성능 향상
- 공개데이터(UBFC-rPPG)에 대하여 이전 방법들과 비교하였 때, 높은 정확도(MAE 0.7) 과 낮은 연산량 (파라미터수 0.9M)를 가지고 있음
- 위와 같은 특징을 기반으로 얼굴 영상 데이터로부터 해당 딥러닝을 모델을 기반으로 대상자의 생체신호(심박수)를 추정함
- 최근 노인 인구가 지속적으로 증가하고 있으며, 우울증 및 인지기능 저하 등 노인 정신건강 문제가 사회적 문제로 대두되고 있음
- 노인 정신건강 관리의 필요성은 높으나, 현재 노인들이 쉽게 접근하고 사용할 수 있는 형태의 맞춤형 디지털 콘텐츠 그리고 고령층 친화적인 UI/UX 기술의 부재로 실질적인 서비스 제공에 한계가 있음
- AI 영상 분석 기반의 rPPG 추정 기술은 대상자의 얼굴 영상으로부터 생체신호를 추정하고 분석하여 사용자의 상태 정보를 제공할 수 있음
- 이와 같은 기술 특징을 기반으로, 캐릭터 기반의 대화형 인터페이스를 구성하여, 노인복지시설 등에서 별도의 복잡한 교육 없이 노인 스스로 활용 가능한 디지털 정신건강 서비스 구현이 가능함
- 또한 기술을 통해 축적된 실증 경험을 토대로 실효성 있는 노인 복지 관련 서비스를 개선할 수 있으며, 향 후 고령층을 타깃으로 다양한 비대면 헬스케어 서비스 확장을 기대할 수 있음
- 신체에 생체신호 센싱을 위한 장치를 부착하지 않고, RGB 카메라에서 입력된 영상을 활용하여 심장 박동으로 인한 미세한 혈색 변화를 딥리닝 모델로 대상자의 생체신호(심박수)를 추정하는 기술
- 해당 rPPG 추정을 위한 딥러닝 모델은 장단기 특징을 동시에 고려하려 높은 정확도와 낮은 연산량을 제공하여 다양한 분야 및 디바이스에 적용 가능
- 특히, 번거로운 접촉식 센서 부착이 필요 없으므로, 높은 접근 편의성으로 심리적 디지털 장벽을 낮춰, 디지털 취약 계층의 정신건강 서비스(예, 노인 정신건강을 위한 서비스 콘텐츠) 개발에 활용될 수 있음
<기술이전 내용>
AI 영상 분석 기반 rPPG 추정 기술
- 입력 영상에서 생체신호(심박수)를 추정하는 학습 모델
<기술이전 범위>
- 인공지능 영상 분석 기반 비접촉식 맥박 추정 기술
* 영상 입력 기반 생체신호(심박수) 추정 ONNX 파일
- 실생활 PPG 심박수 검출 기술 외 기술문서 4종
- AI 영상 분석 기반 rPPG 추정 기술 요구사항정의서
- 지역 사회 내 우울증 및 경도인지장애 고위험군 노인을 대상으로, 가정 내(재택) 자가 진단 및 인지 강화 훈련 프로그램으로 치매안심센터 및 정신건강복지센터의 비대면 (멘탈)케어 프로그램으로 활용 가능
- 직무 스트레스 및 감정 노동 강도가 높은 직군(콜센터, 서비스직 등)을 대상으로, 시공간 제약 없이 익명성이 보장되는 AI 캐릭터 상담 서비스를 제공하여 번아웃 및 우울감 관리 서비스로 정신 건강 관리 프로그램으로 활용 가능
- 홈 트레이닝, 요가 등 운동·휴식 상황에서 대상자의 생체신호를 분석하고, 이를 기반으로 운동 강도 조절 가이드와 회복 상태 점검을 제공하여 운동 효과를 극대화하는 헬스 케어 프로그램으로 활용 가능