본 기술은 일상 중에 사용자가 휴대하여 사용하는 모바일 디바이스 및 웨어러블 디바이스에서 수집된 멀티모달 데이터를 인공지능 기술을 이용하여 8개의 상황을 반영하는 고수준(high-level) 행동 범주로 분류 결과 제시하는 기능을 제공하는 자기지도학습 기반 멀티모달 행동 인식 기술에 대한 것이다.
- 목적: 본 기술은 일상 중에 사용자가 휴대하여 사용하는 모바일 디바이스 및 웨어러블 디바이스에서 수집된 멀티모달 데이터를 인공지능 기술을 이용하여 8개의 상황을 반영하는 고수준(high-level) 행동 범주(주업/일(0), 미디어를 활용한 여가(1), 이동/통근(2), 수면(3), 식사/간식(4), 개인위생(5), 미디어 이외의 기타 여가생활(6), 소셜 활동/사교(7))로 분류 결과 제시하는 기능을 제공하는 것을 목적으로 한다.
- 필요성:
? 일상 생활에서 사용자가 행한 행동이나 활동 상태를 직접 레이블을 입력하는 것은 매우 번거로운 일이며, 이러한 레이블링을 장기간 행하는 것은 더욱 어려운 일이다. 행동은 개인의 건강을 모니터링하고 분석하여 이해하기 위해 필수적인 요소이므로 사용자가 직접 입력하지 않고도 다양한 행동을 인식하는 기술이 요구되고 있다.
? 종래에는 실험실이나 리빙랩과 같은 특정 상황에서만 행동을 인식하는 기술이 개발되어 왔으나, 일상 생활에 적용하였을 때 환경 노이즈나 디바이스 사용의 다양성 등으로 인해 인식률이 현저히 저하되는 문제가 있다.
? 최근에는 일상 생활 중 레이블을 입력받아 종래 기술을 문제점을 극복하려는 시도가 이루어지고 있으나, 잦은 레이블 입력은 일상 생활을 어렵게 하여 레이블이 누락되거나 거의 레이블이 없는 경우도 빈번하여 신뢰도 높은 레이블은 얻는 것이 매우 어려운 상황이다.
? 본 기술은 상기의 문제점을 해결하기 위해, 레이블이 거의 없는 멀티 데이터를 스스로 분류하고 소수의 레이블이 있는 데이터를 이용하여 행동 분류 레이블을 자동으로 제공하는 도구로 활용될 수 있다.
- 웨어러블/모바일 디바이스를 이용하여 일상 생활 중의 행동 인식이 가능함 (기존 주류를 이루는 영상 기반 행동 인식 기술은 영상이 있어야 하는 상황으로 제한됨)
- 자기지도학습 기반 멀티모달 행동 학습 모델로써, 레이블이 부족하거나 없는 데이터를 자동으로 분류하고 레이블을 부여할 수 있음
본 기술은 일상 중에 사용자가 휴대하여 사용하는 모바일 디바이스 및 웨어러블 디바이스에서 수집된 멀티모달 데이터를 인공지능 기술을 이용하여 8개의 상황을 반영하는 고수준(high-level) 행동 범주(주업/일(0), 미디어를 활용한 여가(1), 이동/통근(2), 수면(3), 식사/간식(4), 개인위생(5), 미디어 이외의 기타 여가생활(6), 소셜 활동/사교(7))로 분류 결과 제시하는 기능을 제공하는 것을 목적으로 한다.
- 기술명 : 자기지도학습 기반 멀티모달 행동 인식 기술(HELP-SSLMBR)
- 모바일 디바이스에서 수집된 멀티모달 데이터를 입력으로 받아들여 행동을 분류하는 자기지도학습 기반 멀티모달 행동 인식 기술의 소프트웨어 소스코드 및 노하우(기술문서)
- 자기지도학습 기반 멀티모달 행동 인식기(소스코드)
- HELP-SSLMBR 요구사항, 시험절차 및 결과를 정리한 기술문서(TDP) 2건
- HELP-SSLMBR 개발 노하우에 관한 기술문서(TM) 2건
- 본 기술은 모바일 디바이스, 웨어러블 디바이스로부터 수집한 멀티모델 데이터를 이용하여 행동이나 상황을 인식하는 소프트웨어 기술로 활용 가능함
- 본 기술의 주요 수요처는 사용자의 일상 데이터를 이용하여 신체와 정신 건강을 유지하거나 개선하는 디지털 헬스케어 솔루션을 개발하는 업체임
- 본 기술은 기술문서 및 프로그램 형태로 업체에게 이전 제공하며, 본 기술을 전수받는 업체는 본 기술을 조정 또는 확장하여 해당 수요처에 최적화된 방식으로 활용 가능