■ 본 기술은 카메라 영상 기반으로 운전자의 행동데이터를 수집하고 수집된 데이터들을 동기화하여 분할하는 시스템에 관한 것임
■ “글로벌 안전기준 대응 가상 운전자 모델 기반DMS 성능평가 시스템 개발” 과제에서는 차량 주행환경에서 운전자의 상태를 식별하기 위한DMS의 성능 평가 기술에 관한 연구를 수행하고 있음
■ DMS 성능 평가 기술 개발을 위해 다양한 특성의 가상 운전자 모델 개발이 요구되며 차량 운전중 발생하는 운전자대상의 다양한 행동 특성들을 토대로 인공지능기반 운전자 행동 모델 개발이 세부 목표로 구성되어 있음
■ 운전자 행동 모델 개발을 위해 운전자 행동 요소를 수집하고 데이터 분석을 위해서는 “영상기반 운전자 행동데이터 수집 및 처리 기술”이 필요함
■ 다양한 운전자 행동별 인공지능 학습 데이터 구축을 위한 센서 및 추출(영상, 스켈레톤 등) 데이터 저장, 데이터 시각화, 데이터 동기화 처리 등이 본 기술이전의 주요 포함 기능임
) 기술이전의 목적
■ DMS평가 시나리오에 따른 실운전자 행동데이터 수집 시 영상 및 스켈레톤 데이터 획득에 필요한 파라미터 설정, 프로그램 동작 상태 모니터링, 실시간 추출 현황 확인, 데이터 저장 등의 세부 기술 확보
■ 획득한 영상 및 스켈레톤 데이터를 행동 단위별로 사용자가 분할을 할 필요가 있을 경우 영상과 데이터를 손쉽게 육안으로 편집하고 동기화하여 분할하기 위함
2) 기술이전의 필요성
■ 실제 운전자를 채용하여 한정된 시나리오에 대해 분석하는 기존 방식은 비용과 시간이 많이 소요되어 DMS에 요구되는 기술적 수요 증가를 감당하기 힘들 것으로 예상
■ 실제 운전자 채용 대신, massive하고 intensive한 가상 운전자 모델 기반의 평가 시뮬레이션 소프트웨어 기술 개발이 시급
■ 평가 시뮬레이션 SW 개발 시 가상운전자 행동 모델링 및 생성을 위한 실 운전자 학습 및 검증 데이터수집이 필요하며 이를 평가 시나리오에 따라 빠르게 수집하고 처리할 필요성이 있음
■ UNECE, Euro NCAP, EU GSR 등 글로벌 안전 규제 기구들의 빠르게 변화하는 DMS 평가 인증 규격에 대응하는 제품을 업데이트하기 위해서는 발빠른 데이터 확보가 우선되어야 함
■ 또한, 사람 외형 데이터 수집 및 처리 시스템 기술 확보는 DMS평가뿐만 아니라 의료시스템 평가, 국방무기체계평가 시스템 등 사람이 직접 모든 시험 평가를 받기 어려운 분야로 확장하는데에도 경쟁력을 확보할 수 있음
■ 사람 행동 영상에서 스켈레톤 데이터를 획득하는데 있어서 영상 및 정의된 데이터 규격에 의한 조인트의 2D, 3D 위치 및 회전 데이터를 프레임별로 피실험자에 따라서 저장이 가능함
■ 저장 데이터 유형 설정, 조인트 수, 영상 화질, 스켈레톤 추출 민감도, 프레임 저장 속도 등의 파라미터를 직관적으로 조정하고 피실험자 주요 정보를 입력할 수 있는 것을 특징으로 함
■ GUI 화면 상에 스켈레톤 데이터 추출 결과를 실시간으로 확인할 수도 있음
■ 행동이 포함되어 있는 영상을 단위 행동 혹은 사용자가 원하는 길이로 다중 분할하고자 할 때 소스 영상과 매칭되어 저장되어 있는 스켈레톤 데이터 파일들도 분할 영상과 동일하게 동기화되어 분할되는 것을 특징으로 함
■ 이 때, 소스 영상과 분할 된 영상뿐만 아니라 시간 정보가 실시간 표출되고 분할 시점을 사용자가 쉽게 선택할 수 있는 GUI 기능을 제공함
본 기술은 아래의 세부기술 별로 기술이전이 가능하다.
A. 1세부 기술명 : DMS평가 시나리오기반 운전자 행동데이터 수집 기술
● 사람 스켈레톤 데이터 추출 기능, 영상 데이터 저장, JSON 및 CSV 스켈레톤 데이터 저장 형식 지원, 결과 데이터 실시간 시각화 기능
● 카메라 및 프로그램 상태정보 표출기능, 파라미터 조정 기능, 파라미터 값 변경 사항 표출기능
B. 2세부 기술명 : 운전자 행동데이터 동기화 분할 기술
● 소스 영상 로드 기능, 소스 영상 재생 및 분할 영상 표출 기능, 분할 시점 원클릭 지정 기능, JSON 및 CSV 스켈레톤 데이터파일 동기화 분할 기능, 분할 영상 선택 삭제 기능
A. 1세부 기술명 : DMS평가 시나리오기반 운전자 행동데이터 수집 기술
● 사람 행동 스켈레톤 데이터수집 소스코드
● 기술문서(2250-2025-01005): 운전자 행동데이터 수집 시나리오 절차 정의
● 기술문서(2250-2025-00442): 사용자 매뉴얼
● 기술문서(2250-2025-00866): 요구사항정의서
● 기술문서(2250-2025-00867): 시험절차결과서 (운전자 행동데이터 수집모듈)
● 특허(2024-0188100): 운전자 모니터링을 위한 방법 및 시스템, 이를 위한 장치
● 프로그램(PG20250087): 사람 행동 스켈레톤 데이터수집 프로그램
B. 2세부 기술명 : 운전자 행동데이터 동기화 분할 기술
● 행동 데이터 동기화 분할 소스코드
● 기술문서(2250-2025-00866): 요구사항정의서
● 기술문서(2250-2025-00867): 시험절차결과서 (행동데이터 동기화 모듈)
● 특허(2024-0188100): 운전자 모니터링을 위한 방법 및 시스템, 이를 위한 장치
● 프로그램(PG20250089): 행동 데이터 동기화 분할 프로그램
■ [DMS 개발] 다양한 조건의 DMS 평가 시나리오 생성 및 DMS 제품 평가가 가능한 DMS 성능 평가 소프트웨어 제품화
- 자동차 제조사 혹은 부품제조사의 신차 개발 단계에서 DMS 효율성 및 안정성 평가를 통해 제품화 개발 비용과 시간 절감
■ [국제표준화 및 인증] 차량 내 안전 기술의 국제적 수준을 향상시켜 국제 차량 안전 규격 대응 / 제품인증 기술적 역량 강화 및 DMS 평가 표준 국제적 선도
■ [ADAS/AD를 위한 운전자/탑승자 모니터링 시장] EURO NCAP 2030 로드맵에 기반하여 “Driver State Monitoring / Occupant Monitoring” 기술이 신차에 적극적으로 보급될 것으로 예상됨에 따라 DMS & OMS 개발 및 검증과 연계된 신산업 창출