ETRI-Knowledge Sharing Plaform

본 기술은 콘텐츠를 보거나, 경험하고 있는 사용자의 얼굴과 몸짓에서 나타나는 특징과 관련한 멀티모달 정보를 추출하고 딥러닝을 통해 반응 정도를 파악할 수 있는 기술임

● 목적
- 연구개발 결과물로서 산출된 “다자 참여 메타버스 콘텐츠에 대한 사용자들의 반응 파악 기술”을 다양한 콘텐츠 제작업체에 이전하여 실용화 기술을 보급하고, 서비스 제작자들에게 사용자들의 호응도 결과를 피드백해줌으로써 서비스 품질을 개선하도록 하거나, 혹은 추후 새로운 서비스를 기획 및 제작할 때 해당 결과들을 활용하도록 하는 것에 목적을 둠
● 필요성
- 각종 매스컴, 웹사이트 등을 통해 공개되는 신제품 광고 혹은 기업 이벤트 홍보를 위한 다양한 미디어나 콘텐츠, 나아가 최근 비대면 서비스가 급부상하면서 활성화가 되고 있는 메타버스형 콘텐츠 등 서비스 제공자의 경험과 창의성에 기반을 두고 제작되어지는 콘텐츠를 일반 사용자들은 얼마나 큰 만족감과 호감을 가지는 지를 정량적으로 확인할 수 있는 기술이 필요함
- 본 기술은 사용자들이 다양한 환경에서 콘텐츠를 보거나, 혹은 경험하는 상황에서 카메라로 캡처된 얼굴 표정, 시선 및 바디 모션으로부터 사용자의 반응양상과 관련된 주요 특징들을 딥러닝 기법을 통해 추출 및 인식함으로써 해당 콘텐츠에 대해 얼마나 큰 호응도를 표출하는지를 제시해주는 핵심기반 기술을 제공함

- 사용자의 반응 파악을 위해 표정 이외에 많은 실험을 통해 유효한 정보라고 판단되는 시선 방향 및 바디 모션 정보도 함께 활용하는 특징이 있음
- 얼굴 시선 방향, 표정, 바디 모션 등의 특징정보를 개별로 학습하지 않고, 서로 융합하는 형태의 멀티모달 정보 퓨전 학습을 통해 개개 특징정보 간의 연관성도 함께 고려함으로써
보다 정확한 반응 파악이 가능한 장점이 있음

<기술이전 내용>
- 【세부기술 1】 얼굴 및 시선 기반 사용자 반응 파악 기술
o 사용자 얼굴 특징점 및 시선 방향 검출 기술
o 멀티모달 정보(얼굴 및 시선) 기반 딥러닝 퓨전 학습 및 인식 기술
- 【세부기술 2】 바디 모션 및 시선 기반 사용자 반응 파악 기술
o 사용자 바디 모션 정보 및 시선 방향 검출 기술
o 멀티모달 정보(바디 모션 및 시선) 기반 딥러닝 퓨전 학습 및 인식 기술
- 【세부기술 3】 사용자 반응 파악을 위한 DB 구축 및 학습 데이터 증강 기술
o 반응 표현 관련 한국인 특화형 학습 DB 구축 기술
o 획득 DB 기반 학습 데이터 증강(Augmentation) 기술
o 반응 파악용 학습 데이터 생성 기술

<기술이전 범위>
- 【세부기술 1】 얼굴 및 시선 기반 사용자 반응 파악 기술
o 반응 분석용 얼굴 특징정보 추출 모듈
o 반응 분석용 시선 방향 특징정보 추출 모듈
o 얼굴 및 시선 정보 기반 딥러닝 퓨전 학습 및 인식 모듈
o 요구사항 정의서
o 시험절차 및 결과서
o 가상공연 콘텐츠에 대한 사용자 호응도 파악 방법(TM)
- 【세부기술 2】 바디 모션 및 시선 기반 사용자 반응 파악 기술
o 반응 분석용 바디 모션 특징정보 추출 모듈
o 반응 분석용 시선 방향 특징정보 추출 모듈
o 바디 모션 및 시선 정보 기반 딥러닝 퓨전 학습 및 인식 모듈
o 요구사항 정의서
o 시험절차 및 결과서
o 가상공연 콘텐츠에 대한 사용자 호응도 파악 방법(TM)
- 【세부기술 3】 사용자 반응 파악을 위한 DB 구축 및 학습 데이터 증강 기술
o 한국인 대상 얼굴 표정 및 바디모션 DB
o 획득 DB 기반 데이터 증강 모듈
o 학습 데이터 생성용 UI 모듈
o 요구사항 정의서
o 시험절차 및 결과서

- 즉각적인 고객 반응의 파악 및 호응 정도에 대한 정량적 결과의 가시화가 필요한 온라인, 오프라인 광고, 키오스크 등의 분야에 활용 가능함
- 대규모 관객들을 대상으로 하는 경험 위주의 비대면, 온라인 콘텐츠 서비스에 대한 대중들의 반응 양상 및 호응도 파악이 필요한 메타버스형 콘텐츠 분야에 활용 가능함