■ 기술 정의
자율주행 차량 탑승자의 감정(불안) 상태를 AI로 실시간 예측하는 기술이다.
탑승자의 시선 데이터와 차량 주변 센서 정보를 지식 그래프로 통합하고, 딥러닝 기반 그래프 신경망 AI 모델로 분석하여 감정 상태를 정량적으로 예측한다.
■ 핵심 AI 기술
- 물리 정보 기반 그래프 신경망(PIGNN) : 시선 움직임, 동공 변화, 주행 속도 등 물리 제약 조건을 학습에 반영한 감정 예측 AI 모델
- 경량 AI 모델 : 파라미터 72,961개, 참가자 100명 데이터로 학습, 윈도우당 100ms 이내 실시간 추론
■ 동작 방식
입력(탑승자 시선 + 주변 차량·보행자 정보)
→ AI 분석(PIGNN 감정 예측 모델)
→ 출력(불안 점수 [-1, +1] 정량화)
→ 주행 개입 연계(속도 제어, 차간거리 조절, 안전 정지)
■ 차별점
얼굴 표정 인식이나 ECG/EEG 등 생체 센서 부착 없이, 시선 데이터만으로 감정을 비접촉·비침습 방식으로 예측한다.
1) 기술이전의 목적
● 자율주행 시대 탑승자의 심리적 안정성과 신뢰 확보를 위해, 시선 기반 감정 예측에 특화된 AI 모델 기술의 상용화를 추진함
● 지식 그래프 및 그래프 신경망 기반 상태 예측 기술의 전수를 통한 탑승자 모니터링 응용 소프트웨어 개발 및 적용
2) 기술이전의 필요성
● 자율주행 확산에 따른 탑승자 경험(UX) 및 심리적 수용성 확보 요구 증가
● 자율주행 신뢰의 핵심은 탑승자가 느끼는 안전감이며, 불안 상태의 실시간 파악이 필수적임
● 운전자·탑승자 모니터링 시스템(DMS/OMS)은 유럽 일반안전규정(GSR) 등으로 신차 의무 탑재가 확대되는 추세임
● 기존 감정 인식 방식의 한계 극복 필요
● 얼굴 표정·생체 신호(ECG/EEG) 기반 방식은 별도 센서 부착과 개인별 보정을 요구함
● 본 기술은 시선 데이터만으로 상태를 추정하여 장비·환경 제약을 최소화함
● 위 요구에 맞춰 자율주행 시나리오 환경에서 탑승자 시선 중심의 감정 의도를 예측하는 핵심 기술이 필요함
■ AI 감정 예측 기술로서의 차별성
1. 비접촉·비침습 감정 예측
얼굴 표정 인식이나 ECG/EEG 등 생체 센서 부착 없이, 시선 데이터만으로 탑승자의 감정(불안)을 예측한다. 장비·환경 제약이 최소화된다.
2. 개인별 보정 불요
기존 표정·생체신호 기반 감정 인식이 요구하는 개인별 학습·보정 과정이 필요 없어 도입이 용이하다.
3. 주행 맥락까지 통합한 AI 분석
탑승자만 단독 분석하는 기존 방식과 달리, 주변 차량·보행자 정보까지 그래프로 통합하여 탑승자와 주변 객체 간 상호작용을 함께 학습한다.
4. 물리 정보 기반 경량 AI 모델(PIGNN)
시선 움직임, 동공 변화, 주행 속도 등 물리 제약을 학습에 반영하여, 72,961개(약 7.3만)의 소규모 파라미터로도 높은 예측 성능을 확보한다. 차량 적용에 유리하다.
5. 견고성
AI 예측 모델을 사용할 수 없는 상황에서도 대체 분석 규칙을 통해 기본 불안도 추정 결과를 제공한다.
6. 실시간성 및 주행 개입 연계
윈도우당 100ms 이내 추론으로 실시간 처리가 가능하며, 예측된 감정(불안) 점수에 따라 속도 제어·차간거리 조절·안전 정지 등 주행 개입까지 연계한다.
7. 검증된 성능
CARLA VR 자율주행 시뮬레이션 환경에서 참가자 99명 데이터로 학습·검증하였다. 3개 시나리오에서 감정 예측의 방향성 정확성(위험 > 기본 > 안전)을 확인하였고, 안정성을 검증하였다.
■ 기술명 : 자율주행 탑승자 감정 예측 기술
■ 이전 기능
- 데이터 수집·전처리 : VR 자율주행 시뮬레이션 환경에서 탑승자의 시선 데이터와 주변 차량·보행자 정보를 실시간 수집하고, 시간 정렬 및 전처리
- 그래프 변환·특징 추출 : 탑승자와 주변 객체 등 이종 입력 데이터를 그래프 구조로 통합하고, 시공간 특징 추출
- AI 감정 예측 : 시선 움직임, 동공 변화, 주행 속도 등 물리 제약 조건을 반영한 PIGNN 모델로 탑승자의 불안 수준을 예측하고 불안 점수([-1, +1])를 정량 산출 (모델 미사용 시 대체 규칙 기반 추정 포함)
- 주행 개입 연계 : 산출된 불안 수준에 따라 속도 제어, 차간거리 조절, 안전 정지 등 주행 개입 기능과 연계
■ 주요 성능
- AI 예측 모델 : PIGNN(물리정보 그래프신경망), 파라미터 72,961개의 경량 구조
- 실시간 추론 : 윈도우당 100ms 이내
- 검증 : VR 자율주행 시뮬레이션 환경에서 시나리오별 감정 예측의 방향성 정확성 확인
■ 기술명 : 자율주행 탑승자 감정 예측 기술
■ 소프트웨어
- 자율주행 탑승자 감정 예측 소프트웨어 (v1.0)
- PIGNN 기반 감정 예측 AI 모델 추론 코드 및 학습된 모델 파라미터
■ 기술문서
- 자율주행 탑승자 감정 예측 기술 요구사항정의서
- 자율주행 탑승자 감정 예측 기술 시험절차 및 결과서
- 자율주행 탑승자 감정 예측 소프트웨어 사용매뉴얼
■ 이전 범위 제외 사항
- CARLA 시뮬레이터, VR 장비 및 개발환경(GPU 등)은 실시권자가 구축한다.
● (자율주행 탑승자 모니터링) 시선 기반 불안·감정 상태 예측으로 승차감과 신뢰를 향상시키고 주행 개입과 연계 가능함
● (상태 예측 원천기술 확보) 지식 그래프 기반 예측 기술을 차량 외 로봇·공간 인터페이스 등 다양한 IUI 응용으로 확장 가능함
● (비접촉 UX 데이터 확보) 별도 생체 센서 없이 시선만으로 사용자 내적 상태를 정량화하는 데이터와 모델을 확보할 수 있음