LLM 오케스트레이터를중심으로 음성·영상·텍스트 등 멀티모달입력 데이터를 통합 분석하여 사용자의 감정·집중도·스트레스 등 상태를 실시간으로 인식하고, 이에 따라 음성 또는 3D 아바타를 통해 맞춤형 반응을 수행하는 지능형 EMO-link Agent 시스템임.
● 다중 AI 에이전트 오케스트레이션 기반 구조로 STT, 감정분석, 시선·표정인식, 위험도 분류, LLM 기반 콘텐츠 추천 등 14개 AI 에이전트를 병렬 제어하여 개인 맞춤형 대화 및 콘텐츠 피드백을 제공함.
● 사용자 감정 상태와 대화 맥락을 종합 분석한 결과를 토대로 YouTube 등 외부 콘텐츠를 실시간 추천하며, 관리자 대시보드를 통해 상담 이력, 감정 변화 추이, 위험도 분석 결과를 시각적으로 모니터링하고 관리할 수 있는 통합형 감정 인식·반응 제어 AI 시스템임.
ㅇ 디지털 전환이 가속화되면서 사회 전반의 서비스가 온라인·비대면 중심으로 전환되고 있으나, 여전히 고령자, 장애인, 정보취약계층 등 사회적 약자는 디지털 접근성과 활용 능력 부족으로 인해 각종 서비스 이용에 제약을 받고 있음.
ㅇ 이러한 디지털 격차(Digital Divide)는 단순한 기기 접근성 문제를 넘어, 감정·행동 인식이 어려운 사용자에게는 서비스의 이해·참여·소통 자체를 어렵게 만드는 정서적 단절로 이어지고 있음.
ㅇ 현재의 음성·텍스트 중심 챗봇 및 상담 시스템은 사용자의 감정 변화, 표정, 억양 등 비언어적 신호를 인식하지 못하는 한계가 있으며, 이는 정서적 공감이 필요한 심리상담, 복지상담, 고령자 케어 서비스에서 낮은 만족도를 초래하고 있음.
ㅇ 더불어, 디지털 행정·헬스케어·교육·복지 등 공공 서비스가 빠르게 디지털화되면서, 기존 시스템의 한계를 보완할 수 있는 감정 인식·상태 인식 기반의 인간 친화형 인터랙션 기술의 필요성이 급격히 증가하고 있음.
ㅇ 전 세계적으로 AI 기술은 텍스트 중심에서 멀티모달(Multimodal) 기반으로 진화하고 있으며, 음성, 영상, 표정, 시선 등 다양한 입력 데이터를 동시에 해석하는 감정지능형 AI(Emotional AI)의 수요가 폭발적으로 증가하고 있음.
ㅇ LLM(Large Language Model), VLM(Vision-Language Model), STT/TTS 기술이 결합된 휴먼 인터랙션형 AI 플랫폼은 이제 단순 대화에서 벗어나, 사용자의 정서 상태에 맞춰 공감적·적응적 반응을 제공하는 기술로 발전하고 있음.
ㅇ멀티모달 입력 데이터 기반 감정·행동 인식 기술
- 음성, 표정, 시선, 텍스트 등 3가지 이상의 입력을 동시에 분석하여 사용자 감정, 스트레스, 집중도 등의 상태를 실시간 추론함.
- AI가 사용자의 감정적 변화와 비언어적 신호를 통합적으로 해석하여, 공감적 반응 및 자연스러운 상호작용이 가능함.
- 비언어적 신호가 부족하거나 감정 표현이 어려운 장애인, 노인 사용자도 멀티모달 신호(음성 억양·시선 변화 등)를 통해 인식 가능.
ㅇ AI 오케스트레이터 기반 멀티에이전트 구조
- STT, TTS, Emotion Analyzer, Facial Analyzer, Risk Classifier, LLM Recommender 등 14개의 AI Agent를 병렬 제어하여 복합 분석 및 반응 제어 수행함.
- 다중 AI Agent 간 연동을 표준화한 오케스트레이션 구조를 적용하여, 다양한 입력 모달을 동시에 처리하고 빠른 반응속도를 구현함.
- 새로운 센서나 보조기기(예: 시선 추적기, 음성 보조장치 등) 연동이 용이해 장애인 접근성 확장형 구조로 설계됨.
ㅇ LLM 기반 맞춤형 반응 및 콘텐츠 추천 기술
- 사용자의 위험도(severe/mild/normal)에 따라 YouTube·음성 콘텐츠 등 개인별 맞춤형 제안.
- LLM이 대화 맥락 및 감정 상태를 분석하여 정서적 안정 및 스트레스 완화에 도움이 되는 콘텐츠를 제시함
- 정서 안정, 스트레스 완화, 긍정적 감정 유도 등 심리적 회복 지원형 콘텐츠 추천 기능 포함.
ㅇ 3D 아바타 기반 감정 공감형 반응 인터페이스
- 음성 질문에 대해 3D 아바타가 표정·억양을 동기화해 반응하여, 감정적 공감 및 친밀감을 제공.
- 노년층이나 대면 상담이 어려운 이용자에게 정서적 안정감을 부여하며, 대화 지속성을 높이는 효과를 가지고 있음
ㅇ (기술이전 내용) 멀티모달입력 데이터 기반 실시간 사용자 상태 인식 및 맞춤형 반응 제어 시스템(EMO-link Agent)
- 다중 LLM 에이전트 오케스트레이션 기반 통합 분석 기술
- 비언어적 신호 기반 감정·행동 인식 및 LLM 기반 맞춤형 콘텐츠 추천 기술
ㅇ (기술이전 범위)
- ETRI 요구사항정의서 1건
- ETRI 시험절차 및 결과서 1건
- 알고리즘 관련 기술문서 등 7건
- 알고리즘 관련 특허 1건
- 멀티모달입력 데이터 기반 실시간 사용자 상태 인식 및 맞춤형 반응 제어 시스템 SW 1건
ㅇ (적용분야)
- 디지털 헬스케어, 심리상담 : 비대면 감정 케어 및 스트레스 관리
- 사회복지/디지털 포용서비스 : 노인, 장애인 대상 감정교류 및 돌봄 지원
- 교육 및 학습 지원시스템 : 학습자의 집중도 및 감정 분석
- 고객응대/콜센터 시스템 : 감정 분석 기반 대화 품질 향상
- 공공행정/민원 서비스 : 비대면 민원 응대 및 공공정보 안내
ㅇ (기대효과)
- 기술적 관점 : 멀티모달 기반 감정 인식과 LLM 오케스트레이션을 결합하여 실시간·공감형 인터랙션이 가능한 AI 플랫폼 구현
- 산업적 관점 : 헬스케어·교육·공공서비스 등 다양한 산업 영역에 적용 가능하며, 사용자 감정 중심 서비스 혁신을 촉진
- 사회, 경제적 관점 : 디지털 포용 사회 실현에 직접 기여 ― 감정 이해형 AI를 통해 노인·장애인 등 취약계층의 디지털 접근성과 이용 경험 향상