1) 미래창조과학부 “ICT 기반 차량/운전자 협력자율주행 시스템 (Co-Pilot)의 판단/제어 기술 개발 과제 (Development of Decision Making/Control Technology of Vehicle/Driver Cooperative Autonomous Driving System(Co-Pilot) Based on ICT) 의 세부 기술인 “주행환경인식” 기술은 총 과제 기간 2012.06.01.~2017.02.28. 중 5차년도 과제 기간 중 (2015.03.01.~2015.12.01.)에 개발되었다.
2) ICT기반 차량/운전자 협력자율주행 시스템(Co-Pilot)은 센서 및 통신기술(V2X)을 기반으로 주행상황을 인식하고, Direct/Indirect 인식 기반으로 운전자 상태 (Normal, Drowsy, Inattentive, Unresponsive)를 판별하여, 차량의 운전 제어권을 결정함으로써, 운전자를 보조하거나 제한된 환경에서 스스로 운전하는 자동차와 운전자간 협력형 주행 시스템이며 운전자, 주행상황, 그리고 자동차와 상호작용을 하는 시스템이다.
3) 본 기술이전(RoadPlot : 제품명)은 이러한 ICT기반 차량/운전자 협력자율주행 시스템(Co-Pilot; 부조종사)의 주행 환경 인식을 위한 기술로써, 3D/2D Lidar센서 및 카메라를 기반으로 거리 정보 및 색상 정보 등을 융합하여 다양한 도로환경에서 장애물, 주행가능영역과 신호등 등을 인식하는 기술을 제공한다.
4) 주행환경인식 기술은 차량에 장착된 카메라, 2D LiDAR, 3DLiDAR와 RADAR 센서로부터 데이터를 입력받아 전처리를 수행하는 센서컴포넌트와 전처리된 센서 데이터를 입력으로 주변 장애물을 판단하는 장애물 인식 컴포넌트, 주행 가능한 공간을 판단하는 주행가능영역인식 컴포넌트, 신호등을 인식하는 도로인프라인식 컴포넌트로 구성된다.
1) 기술이전의 목적
본 기술이전은 전 세계적으로 연구가 활발히 진행되고 있는 무인자율 차량의 주행환경인식 기술을 자동차 부품업체, 완성차 업체 및 실외 감시/경계 로봇 업체 등에 이전 및 보급함으로써 국내 기술을 선도하고 세계적으로 초기 단계인 주행환경인식 기술의 선점을 목적으로 한다.
2) 기술이전의 필요성
Autonomous Vehicles(NAVIGANT RESEARCH, 2013)에 따르면 구글의 무인자동차와 같은 자율주행 차량 기술은 전 세계적으로 2020년까지 2천억불, 2035년까지 1조불의 시장을 점유할 것으로 예상하고 있는데, 이러한 무인 자동차 기술 중 가장 중요한 핵심 기술 중 하나인 주행환경인식 기술은 무인자동차에 부착되어 있는 다양한 종류의 센서를 활용하여 주행할 수 있는 지역과 주행이 불가능한 지역에 대한 구분, 주행 중에 나타나는 다양한 장애물에 대한 검출 및 판별, 차선과 같은 도로 표시물에 대한 인식을 통해 적절한 행동을 선택토록 하기 위해서 반드시 필요한 기술임
□ 주행가능영역인식 기술
- 3D LiDAR(Velodyne HDL-64E) 센서 기반 주행가능영역인식 알고리즘 구현
- 복잡한 환경에 강인한 3차원 공간 정보 기반 도로 영역 추출기
- 지면 모델과 영역확장방법을 융합한 주행가능영역 고속 추출
- 2.5D Grid Map 형식의 주행가능영역 결과 출력
□ 장애물인식기술
- 장애물인식기술은 일반도로 자율 주행을 위해 차량 상단의 3D LiDAR, 차량 전후방의 4개의 2D LiDAR와 전후방 RADAR 2개를 이용하여 전방 150m, 주변 50m내의 동적 장애물을 50ms 속도로 인식하고, 각 장애물에 대한 ID, 위치, 속도, 크기, 신뢰도를 제공함
- 3D LiDAR기반 장애물 인식 기술은 차량 상단에 장착된 3D LiDAR에서 입력되는 점군을 활용하여 거리영상기반으로 장애물을 검출하고 이를 매칭, 거리, 속도 및 오버랩의 기준으로 연관정도를 계산하여 지속적으로 각 장애물에 대한 위치, 속도 등을 획득함
- 2D LiDAR기반 장애물 인식 기술은 차량 주변에 장착된 다중의 2D LiDAR에서 입력되는 점군을 활용하여 장애물을 검출하고, 이전 프레임에서 검출된 장애물과 연관정도를 계산하여 지속적으로 각 장애물에 대한 위치, 속도 등을 획득함
- 장애물 정보 융합 기술은 3D LiDAR기반 장애물, 2D LiDAR기반 장애물과 Radar기반 장애물의 정보를 최적화 방법을 이용해 융합하고, 단일의 장애물로 통합 인식하는 기능을 수행한다. 그리고 장애물의 절대 위치와 속도로 결과를 추출함
□ 도로인프라인식 기술
- 도로인프라인식 기술은 일반도로 교차로 환경에서의 신호에 따라 자율주행으로 교차로를 통과하기 위해 차량 전면부 상단의 카메라를 이용하여 차량으로부터 50m이내의 가장 가까운 신호등을 인식하고 그 결과를 제공함
- 신호등인식에 사용되는 영상은 1280*960 칼라이미지임
- 신호등의 인식영역은 사용자가 정한 ROI범위내의 신호등을 인식하며, 신호등인식결과는 4구를 기준으로 하여 적색, 황색, 화살표, 초록색순으로 제공함
□ 센서컴포넌트 모듈
- 센서 컴포넌트 모듈은 주행환경인식 모듈이 필요로 하는 주행공간에 대한 환경을 수집하기 위한 물리적 센서들을 추상화하여 SW로 구현한 것으로 2D/3D LiDAR센서, RADAR와 카메라 센서로 구성됨
- 2D LiDAR센서로는 SICK LDMRS LiDAR, SICK LMS151 LiDAR가 해당되며, 3D LiDAR로는 Velodyne HDL-64E LiDAR센서가 해당되며, 전후방 Radar로는 Delphi ESR이 해당된다. 카메라 센서는 USB기반의 카메라로 구성됨
A. 기술명 : 주행가능영역인식 기술
- 일반도로 환경에서 3차원 점군 정보 획득 기술
- 차량 지면 기준 주행가능영역 확장 기술
- 2.5D Grid Map기반 주행가능영역 출력 기술
B. 기술명 : 장애물인식 기술
- 다중 2D LiDAR기반 장애물 검출 및 추적 기술
- 3D LiDAR기반 장애물 검출 및 추적 기술
- 2D/3D LiDAR와 Radar 기반 추적정보 융합 기술
C. 기술명 : 도로인프라인식 기술
- 관심영역 설정 및 4구 신호등 인식 기술
D. 기술명 : 센서데이터수집 기술
- Velodyne HDL-64E (3D LiDAR) 센서 데이터 수집 컴포넌트 기술
- 2D LiDAR 센서 데이터 수집 컴포넌트 기술
- Radar 센서 데이터 수집 컴포넌트 기술
- 카메라 센서 데이터 수집 컴포넌트 기술
A. 기술명 : 주행가능영역인식 기술
- 주행가능영역인식 알고리즘 소스
- 주행가능영역인식 서브시스템 소스
- 실행 파일 및 환경
B. 기술명 : 장애물인식 기술
- 장애물인식 알고리즘 소스
- 장애물인식 서브시스템 소스
- 실행 파일 및 환경
C. 기술명 : 도로인프라인식 기술
- 신호등인식 알고리즘 소스
- 신호등인식 서브시스템 소스
- 실행 파일 및 환경
D. 기술명 : 센서데이터수집 기술
- 센서데이터수집 모듈 소스
- 센서데이터수집 서브 시스템 소스
- 실행 파일 및 환경
o 구글자동차와 같은 무인자동차의 자율주행을 위한 주행환경인식 기술로 직접 활용이 가능하며, 운전자를 보조하여 위험 상황에 대한 예측을 통한 운전 지원 등에 적용 가능
o 기타 농업, 건설, 감시정찰, 탐사, 소방 등 전 분야에 걸쳐 무인 자율 로봇의 주행환경 인식과 주변 상황 판단을 위한 핵심 기술로 활용 가능
o 향후 이동 능력을 가진 무인 시스템의 시대가 예측되는 바, 주행환경인식 기술은 기업의 생산성 제고, 국민의 삶의 질 향상 등 사회적 변화요구에 부응하여 자동차, 농업, 제조, 물류, 항공 등에 다양한 분야에 적용되어 자동화를 통한 생산성 향상, 안전주행 서비스 등에 적극 활용될 것으로 전망