1.1.1. ‘운전자 상태인식 기반 차량 간 인터렉션 시스템’의 개발목표는 본 기술은 자율주행 차량환경을 고려한 운전자와 차량 간 인터렉션 시스템을 제공한다. 차량 시스템은 항상 정상, 주의분산, 졸음, 무반응 상태의 조건을 판단하여 운전자에게 정보 제공을 하고 차량 또한 운전자의 상태를 모니터링한다. 또한, 운전자의 무반응 상태를 졸음 보다 더 위험한 상황으로 정의하고 이를 보다 정확하고 빠르게 판단하기 위해서 다중 센서 기반의 인터렉션 시스템 제시한다.
1) 기술이전의 목적
□ 본 기술이전의 목적은 운전자와 차량 간 정보를 공유하고 종합적인 판단을 통해 안전한 운전자 주행 모드 혹은 자율주행 모드 상에서의 경고 및 알림을 위한 시스템이다. 이는 차량 정보, 운전자가 사용중인 웨어러블 센서 인식 정보, 운전자 얼굴 상태정보가 융합된 다중 센서 기반의 인터렉션 시스템을 통해 상호작용이 가능한 시스템으로 자율 주행시스템 상에서의 정보 융합을 위해 구성된다. 이는 차량과 운전자의 정보를 복합적으로 판단하기 위한 운전자 상태인식 기술, 데이터 수집 및 가공, 학습을 위해 제공되는 데이터, 차량 정보 획득을 위한 통신 방법, 차량 정보 융합 방법, 웨어러블 센서인 근전도 기반 암밴드를 활용한 제스처 인식 기술을 포함한 패키지 타입으로 “운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템”과 그 응용 분야에 대한 기반 기술을 제공하기 위함이다.
2) 기술이전의 필요성
□ 본 기술의 활용 차량 환경에서의 WDR 카메라 기반의 데이터를 수집하고 가공, 학습한 결과를 활용하여 운전자 환경에 강인한 성능을 보완하고 운전자 얼굴 내의 다양한 검출 정보를 제공하여 주의 분산 인식을 고도화 할 수 있도록 하여 실제 스마트폰 어플리케이션과 연동하여 정보를 표출하는 테스트 응용 프로그램을 제공하여 빠른 기술 확보에 대한 이점을 제공하기 위함
□ 운전자의 졸음운전, 부주의 행동 등은 교통사고를 유발하는 중요 원인이므로 운전자의 졸음운전, 주의분상에 대한 위험 요소를 관리하고 최적화하여 안전운전을 지원하는 기술 지원뿐만 아니라 자율주행시스템에 연동될 수 있는 기술이 개발될 필요성이 있음
□ 현재, 운전자의 편의 및 주행 보조를 위해 차량 내에서 사용되는 각종 단말기 및 경고 제공 시스템은 운전자의 상태를 모니터링하기 위해서 영상기반의 눈 검출 및 표정인식을 통해 알람을 제공하는 방식으로 영상 처리 기술의 한계성으로 차량용에서 요구되는 100%에 가까운 신뢰도를 제공하기 어려움
□ 이와 같은 영상 기반의 운전자 상태 인식의 문제점은 주변 환경 및 날씨에 따라 인식률이 크게 차이나기 때문에 반드시 필요한 상황에서 운전자에게 주의 및 경고 정보를 제공하지 못하는 상황을 발생시킬 수 있음
□ 현재, 영상기반의 운전자 상태인식 한계를 개선하여 운전자의 상태 및 운전환경에 따라 적절한 주의 및 경고 정보를 제공하는 시스템을 개발하기 위해서는 운전자의 다양한 운전 환경을 종합적으로 분석하여 운전자의 주행 패턴을 분석하고 정량화할 수 있는 기술 개발이 필요함
□ AM(After Market) 시장에서 상용화 된 운전자 상태인식의 기술은 운전자의 눈동자를 기준으로 시선추적은 이루어지지 않고 있고, 얼굴의 방향성도 자세히 표현하지 못하기 때문에 다양한 환경, 즉, 일반도로와 같은 얼굴 방향과 시선이 빈번하게 변하는 조건에서 단순한 정면 얼굴 검출 기준으로는 한계
□ 본 기술이전의 대상이 되는 “운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템” 기술은 복합적인 정보 분석과 판단을 기반으로 오인식에 대한 문제를 해결할 필요성이 있기 때문에 본 기술에서는 운전자의 주행 패턴을 얼굴, 손, 팔, 차량 정보를 복합적으로 판단하여 운전자의 상태를 보다 정확히 인식하는데 필요한 전반적인 기술임
□ 또한, 실제 다양한 도로 주행 환경에서 빛의 조도를 보완해 주는 WDR 카메라로부터 습득한 데이터를 학습한 결과 정보를 분석하고 패턴을 도출하며, 얼굴 내의 다양한 특징을 검출할 수 있도록 학습결과를 제공함으로써 졸음 및 주의 분산에 대한 판단에 있어서 보다 높은 신뢰도 제공
본 기술은 기존의 비전 기반 혹은 생체 센서 기반의 운전자 얼굴 표정 및 생체 흐름에 초점에 두고 상태인식을 한것과 달리 실제 주행환경에서 운전자가 의도 혹은 무의식적으로 취하는 행동을 구분하여 졸음 보다 위험한 상환에 대해 빠른 판단을 장점으로 함.
- 기술명 : 운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템 (이하 DAVIS)
1) DAVIS 데이터 수집부
(1) 운전자 얼굴 상태 정보 기능
(2) 운전자 차량 정보 기능
(3) 운전자 근전도 정보 기능
2) DAVIS 데이터 분석부
(1) 운전자 얼굴 상태 인식 기능
(2) 운전자 손 팔 상태를 기반으로 한 제스처 인식 기능
(3) 차량 정보, 운전자 얼굴, 손, 팔 상태 정보 융합을 통한 인터렉션 기능
3) DAVIS 결과 표출부
(1) 운전자 상태(졸음, 주의, 정상, 무반응)를 표출하기 위한 스마트폰 어플리케이션
(2) 자율주행 모드 전환을 위한 운전자 제스처 인식 기반 사용자인터페이스
A. 기술명 : 운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템
1) SW
① 운전자 얼굴 및 15종의 얼굴 부분 학습 결과 및 검출 소스
② 운전자 졸음 및 주의 판단 소스
③ 안드로이드 기반 스마트폰 어플리케이션 실행파일
④ 제스처 인식을 위한 Myo 웨어러블 윈도우 PC 기반 어플리케이션 실행파일
⑤ ROS 통신 기반 운전자 차량 간 융합정보 판단 서버 프로그램 소스
⑥ 운전자 학습 데이터 및 학습 도구
⑦ 데이터 가공 및 학습을 위한 SW 도구 패키지 실행파일
2) 관련 특허
① 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
② 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
③ 운전자의 의지 판단을 포함하는 조향 제어 장치 및 이의 작동 방법
3) 관련 기술문서
① TDP
- 코파일럿 시스템 ROS 인터페이스
- 운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템 시험절차서결과서
- 운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템 요구사항정의서
② TM
- 운전자 자율주행 차량 간 인터렉션 시스템 사용자 매뉴얼
- 운전자 파트 5차년도 개발 계획 및 시나리오
□ 본 기술은 향후 “운전자 제어권 기술, 주행상황 판단 기술”과도 연동되어 운전자가 졸음 혹은 주의 분산 상태로 판단되었을 때, 차량 주변의 주행환경 정보와 복합적으로 판단하여 자율주행 차량의 행동 결정 및 제어를 통해 주행의 패턴을 조정할 수 있고 운전 제어 권한을 전이하여 자율 주행 모드로 변경할 수 있는 상황을 판단하기 위한 기술로 확장 가능함.
□ 본 기술이전의 대상이 되는 “운전자 자율주행 차량 간 상태인식 기반 인터렉션 시스템” 기술은 차량 내 WDR 기반의 적외선 카메라가 탑재된 모듈 단말기(ARM, x86)를 기반으로 기존 PC 기반에서 임베디드 기반으로 동작 가능하도록 구성되어 향후 AM 시장에서 자율 주행시스템에 연계되는 운전자 상태인식 기술뿐만 아니라 주행환경 인식을 통한 행동 결정을 위한 기반 기술이 될 것으로 기대함
□ 본 기술은 리눅스 기반으로 개발되어 ROS나 타 인터페이스로부터 차량정보를 받아 운전자의 주행 패턴 및 상태 인식을 통한 안전운전 서비스 지원이 가능하고, 이를 바탕으로 자율주행시스템이 탑재된 차량에서 운전자의 상태판단에 있어서 융합 정보 기반으로 인식 가능한 기술 개발로 확대될 것으로 기대함
□ 운전자의 상태를 직접, 간접 방식으로 분석하고 정량화하여 관리할 수 있는 본 기술은 국가 공익적 성격이 강하며, 관련 기술 개발은 기존의 운전자 상태 인식을 위한 얼굴 내의 15종 학습 결과뿐만 아니라 학습을 위한 데이터도 제공
□ 이에 따라 영상인식 기반 운전자 상태 인식 기술을 시작하는 중소 업체의 시작 기술이 될 것으로 기대하며, 운전자 상태 인식 기술에 대한 대중화로 하여금 국내 자동차 시장뿐만 아니라 세계 자동차 시장에서 경쟁력을 가질 수 있는 기술로 확대될 것을 기대함
□ 기존에 상용화된 AM 시장의 운전자 상태인식 기술은 동공을 검출하나 주의 분산 판단을 위해 다양한 운전자의 상황 및 패턴을 인식하지는 못하고 있으며, 본 기술에서 제공하는 15종의 얼굴 부분 정보를 활용하여 제한된 범위 내에서 운전자의 얼굴 방향과 동공 인식을 통한 시선추적이 가능하여 보다 정교한 운전자의 주의 분산 판단결과를 도출해 낼 것으로 기대함
□ 본 운전자 상태인식 기술을 바탕으로 스마트폰 어플리케이션과 연동되어 그 영역의 확장 가능성을 보여 줌으로써 독립적인 단말기 구조 시장에서 확장 가능한 구조를 제시함으로 운전자로 하여금 보다 친숙한 기술 개념을 제공할 것으로 기대함
□ 또한, 상용 웨어러블 디바이스와 연동이 가능하여 향후 운전자 안전과 편의성을 동시에 확보하여 향후 인포테인먼트 및 커넥티드 카의 새로운 분야 창출 개념을 제공할 것으로 기대함
□ 교통사고 원인의 90% 이상이 운전자의 졸음 운적 및 부주의 행동으로 인한 것임을 감안할 때, 주행 중 운전자의 상태인식 정보를 산출하여 관리할 수 있는 본 개발 기술은 교통사고로 유발되는 사회?경제적 비용을 직접적으로 절감하는데 도움을 줄 것으로 기대함
□ 본 개발기술을 통해 운전자의 오버로드(주의분산)과 언더로드(졸음인식) 부하로 인한 위험상황을 대처함으로써 국민의 안전과 생명을 보호하고, 나아가 교통사고의 위험성이 적은 교통 환경에서 국민의 이동성을 보장하여 이들의 삶의 질을 향상시킴으로써 사회적 비용을 간접적으로 절감하도록 지원할 수 있을 것으로 기대함