콘텐츠를 보거나, 경험하고 있는 사용자의 얼굴에서 나타나는 반응양상과 관련한 멀티모달 정보를 추출하고 딥러닝을 통해 호응도 정도를 파악할 수 있는 기술
● 필요성
- 각종 매스컴, 웹사이트 등을 통해 공개되는 신제품 광고 혹은 기업 이벤트 홍보를 위한 다양한 미디어나 콘텐츠, 나아가 최근 비대면 서비스가 급부상하면서 활성화가 되고 있는 메타버스형 콘텐츠 등 서비스 제공자의 경험과 창의성에 기반을 두고 제작되어지는 콘텐츠를 일반 사용자들은 얼마나 큰 만족감과 호감을 가지는 지를 정량적으로 확인할 수 있는 기술이 필요함
- 본 기술은 사용자들이 다양한 환경에서 콘텐츠를 보거나, 혹은 경험하는 상황에서 카메라로 캡처된 얼굴 표정으로부터 사용자의 반응양상과 관련된 주요 특징들을 딥러닝 기법을 통해 추출 및 인식함으로써 해당 콘텐츠에 대해 얼마나 큰 호응도를 표출하는지를 제시해주는 핵심기반 기술을 제공함
● 목적
- 연구개발 결과물로서 산출된 “콘텐츠에 대한 사용자 호응도 파악 기술”을 다양한 콘텐츠 제작업체에 이전하여 실용화 기술을 보급하고, 서비스 제작자들에게 사용자들의 호응도 결과를 피드백해줌으로써 서비스 품질을 개선하도록 하거나, 혹은 추후 새로운 서비스를 기획 및 제작할 때 해당 결과들을 활용하도록 하는 것에 목적을 둠
- 사용자의 표정만을 통해 여러가지 감정상황(Neutral, Happy, Sad, Surprised, Angry, Disgust, Fear)을 파악하는 기존 방법 대비, 많은 실험을 통해 콘텐츠에 대한
호응도 판단에 중요한 정보로 파악된 사용자의 시선 방향 정보도 함께 활용하는 특징이 있음
- 얼굴 시선 방향, 표정 등의 특징정보를 개별로 학습하지 않고, 서로 융합하는 형태의 멀티모달 퓨전 학습을 통해 개개 특징정보 간의 연관성도 함께 고려함으로써
보다 정확한 호응도 파악이 가능한 장점이 있음
<기술이전 내용>
ㅇ 콘텐츠에 대한 사용자 호응도 파악 기술
- 얼굴 특징점 및 시선 방향 검출 기술
- 딥러닝 기반 멀티모달 퓨전 학습 및 인식 기술
<기술이전 범위>
1. 호응도 분석용 얼굴 특징정보 추출 모듈
2. 호응도 파악용 딥러닝 모델 학습 모듈
3. 요구사항 정의서
4. 시험절차 및 결과서
5. 가상공연 콘텐츠에 대한 사용자 호응도 파악 방법(TM)
- 즉각적인 고객 반응의 파악 및 호응 정도에 대한 정량적 결과의 가시화가 필요한 온라인, 오프라인 광고, 키오스크 등의 분야에 활용 가능함
- 대규모 관객들을 대상으로 하는 경험 위주의 비대면, 온라인 콘텐츠 서비스에 대한 대중들의 반응 양상 및 호응도 파악이 필요한 메타버스형 콘텐츠 분야에 활용 가능함