‘운전자상태인식 기반 응용프로그램’의 개발목표는 운전자 얼굴 내의 부분 정보를 검출 및 추적하여 관심영역을 안정화 하고, 이를 기반으로 운전자의 상태를 파악하여 응용프로그램과 연동하기 위한 것이다. 이를 위해 실제 운전자의 얼굴 내 데이터를 주행 환경에서 획득하여 얼굴, 감은 눈, 눈꼬리, 코, 입, 입 꼬리, 동공, 눈 영역 검출을 통해서 운전자의 졸음인식 및 시선 분산에 대한 상황 판단을 한다.
□ 본 기술이전의 목적은 본 기술 차량 환경에서의 WDR 카메라 기반의 데이터를 수집하고 가공, 학습한 결과를 활용하여 운전자 환경에 강인한 성능을 보완하고 운전자 얼굴 내의 다양한 검출 정보를 제공하여 주의 분산 인식을 고도화 할 수 있도록 하여 실제 스마트폰 어플리케이션과 연동하여 정보를 표출하는 테스트 응용 프로그램을 제공함으로써 “운전자 상태 인식 기술”과 그 응용 분야에 대한 기반 기술을 제공하기 위함이다.
□ 운전자의 졸음운전, 부주의 행동 등은 교통사고를 유발하는 중요 원인이므로 운전자의 졸음운전, 주의분상에 대한 위험 요소를 관리하고 최적화하여 안전운전을 지원하는 기술 지원뿐만 아니라 자율주행시스템에 연동될 수 있는 기술이 개발될 필요성이 있음
□ 현재, 운전자의 편의 및 주행 보조를 위해 차량 내에서 사용되는 각종 단말기 및 경고 제공 시스템은 운전자의 상태를 모니터링하기 위해서 영상기반의 눈 검출 및 표정인식을 통해 알람을 제공하는 방식으로 영상 처리 기술의 한계성으로 차량용에서 요구되는 100%에 가까운 신뢰도를 제공하기 어려움
□ 이와 같은 영상 기반의 운전자 상태 인식의 문제점은 주변 환경 및 날씨에 따라 인식률이 크게 차이나기 때문에 반드시 필요한 상황에서 운전자에게 주의 및 경고 정보를 제공하지 못하는 상황을 발생시킬 수 있음
본 기술은 기존에 국내에서 상용화 된 동공, 눈감은상태 정보를 활용한 졸음 인식과 정면 얼굴 검출 범위의 벗어남 정도로 판단되는 주의 분산 기능과 달리 운전자 얼굴 내의 15종의 정보를 기반으로 졸음 인식과 운전자의 얼굴 방향, 시선 정보를 획득할 수 있는 기본 검출 및 추적 정보를 제공한다. 또한, 실제 운전자가 주행하는 다양한 조건의 환경에서 수집된 영상데이터를 바탕으로 높은 인식률의 학습 검출 결과를 제공하고 이를 바탕으로 주의 분산과 졸음인식 기능을 제공한다.
본 기술이전 대상인 “운전자상태인식 기반 응용프로그램 V1.0”은 운전자의 졸음과 주의 분산을 판단하기 위해서 실제 주행 환경에서 취득한 20명의 운전자의 얼굴 영상 데이터를 분석하고 학습한 결과를 통해 검출하고, 운전자의 눈의 깜빡임 정보, 눈의 움직임 정보를 분석, 얼굴 내의 15종의 부분 정보를 활용하여 운전자의 상태를 보다 정확하게 인식할 수 있는 기반 기술이다.
1) 운전자상태인식 기반 응용프로그램 V1.0 운전자 얼굴 부분 정보 데이터 검출 기능
(1) 정면 얼굴 검출 (90도 이내) 및 측면 얼굴 검출(90도 이상)
(2) 얼굴 부분 정보 검출을 위한 15종 데이터 학습 결과(얼굴, 눈 영역[2], 동공[2], 눈 감은 영역[2], 양쪽 눈꼬리[4], 코, 입, 입꼬리[2])
(3) 검출 ROI 안정화를 위한 추적 및 튜닝 기술
2) 운전자상태인식 기반 응용프로그램 V1.0 졸음 및 주의 분산 판단 기능
(1) 동공 및 눈 감은 영역 검출/추적 정보 분석을 통한 졸음운전 판단 기능
(2) 얼굴방향, 동공 검출 기반 시선추적 정보 분석을 통한 주의분산 판단 기능
3) 운전자상태인식 기반 응용프로그램 V1.0 상태 판단 표출 기능
(1) 안드로이드 기반 운전자 상태인식 스마트폰 어플리케이션
(2) 운전자 상태인식 결과 정보 전송 기능
1) SW
① 운전자 얼굴 및 15종의 얼굴 부분 학습 결과 및 검출 소스
② 운전자 졸음 및 주의 판단 소스
? 안드로이드 기반 스마트폰 어플리케이션 실행파일
2) 관련 특허
① 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
3) 관련 기술문서
① TDP
- 운전자 상태인식 기반 응용프로그램 요구사항정의서_V1.0
- 운전자 상태인식 기반 응용프로그램 시험절차서결과서 V1.0
- 운전자상태인식 기반 응용프로그램 상세설계서 V1.0
- Co-pilot 시스템 1.0 H/W 통합 최적화
- Co-Pilot 시스템 1.0 S/W 통합 최적화
② TM
- 운전자 상태인식 기반 응용프로그램 환경 설정 및 설치 방법 V1.2
□ 본 기술은 향후 “운전자 제어권 기술”과도 연동되어 운전자가 졸음 혹은 주의 분산 상태로 판단되었을 때 운전 제어권을 전이하여 자율 주행 모드로 변경하는 판단을 하기 위한 기술로 확장 가능함.
□ 본 기술이전의 대상이 되는 운전자상태인식 기반 응용프로그램 V1.0” 기술은 차량 내 WDR 기반의 적외선 카메라가 탑재된 모듈 단말기(ARM, x86)를 기반으로 기존 PC 기반에서 임베디드 기반으로 동작 가능하도록 구성되어 향후 AM 시장에서 운전자 상태인식을 위한 기반 기술이 될 것으로 기대함
□ 본 기술은 리눅스 기반으로 개발되어 ROS나 타 인터페이스로부터 차량정보를 받아 운전자의 주행 패턴 및 상태 인식을 통한 안전운전 서비스 지원이 가능하고, 이를 바탕으로 자율주행시스템이 탑재된 차량에서 운전자의 상태판단에 있어서 융합 정보 기반으로 인식 가능한 기술 개발로 확대될 것으로 기대함