본 기술은 실시간 전투상황에서 수집된 정보를 바탕으로 단위 지식들간의 상관관계 매핑을 통한 시공간 다계층 전장 모델 기반 전역 상황 인지 기술 개발하기 위해 (1) 전장 시뮬레이터 기반 학습데이터 생성 기술 (2) 시공간 비주얼 그라운딩 기술 (3) 다중센서기반 협조적 객체 인식 기술로 구성됨.
o 전투지휘훈련단에서는 사단과 군단급 지휘관과 참모들의 전투 지휘 능력을 향상하는 것을 목표로 하지만 인공지능 기술을 기반으로 전장에서 수집되는 빅데이터를 분석하여 전역 상황을 인지하고 지휘관의 의사결정을 지원할 수 있는 기술지원이 부재인 상황임
o Army Tiger 대대는 정찰용 드론, 기동형 통합감시장비, 무인전투차량, 화생방 정찰 UGV, 통합워리어플랫폼 등에서 다양한 시각 및 청각, IoT 데이터가 발생하지만 중대장, 대대장은 다양한 장비들을 혼자서 운용해야 할 뿐만 아니라, 데이터들을 분석하는 역할까지 해야 하는 상황이라 효율적인 전투 임무 수행을 위해서는 이를 대체할 수 있는 인공지능 참모 기술의 개발이 절실한 상황임
o 전투상황 인식 관리 대상이 증가하고 복잡해지는 미래전장에서 지휘관 개인의 경험과 전문성에 의존한 지휘 결심 체계에 한계가 있으므로 AI 기반 의사결정을 지원하는 전장 상황인지 기술이 주목받고 있는 상황임
o 미국 국방부 산하 DARPA에서는 멀티모달 데이터를 이용한 의사결정지원 시스템인 AIDA를 개발하여 다양한 비정형화된 데이터를 동시에 표현하고 분석하여 사건, 상황, 트렌드 등에 대한 복수 가설을 설정하여 의사결정자를 지원함
o [지식관점 No-Battlefield knowledge] 현재 활용 가능한 민간 분야 AI 기술은 국방분야 인공지능 기술 개발에 적용하는데 한계가 있고, 실제 전장 상황과 유사한 synthetic 지식 생성 기술이 부재하므로 전장 시뮬레이터 기반 학습데이터 생성 기술을 제공하고자 함
o [설명관점 No-explanation] 기존의 딥러닝 기반 상황 인지 및 정보 추출 기술은 블랙박스로 설명 없이 정답만 제공함으로써 한계를 지니고 있음. 이를 극복하기 위한 전장 상황을 설명 가능한 시공간 비주얼 그라운딩 기술을 제공하고자 함
o [협업관점 No-collaboration] 멀티 에이전트로부터 수집된 분산 객체의 멀티모달 정보로 전장 상황을 인지하는 딥러닝 기반 객체 식별 기술 부재함. 이를 극복하기 위한 다중센서기반 협조적 객체 인식 기술을 제공하고자 함
o 개발기술은 총 3개의 기술로 구성되어 있으며, 각 기술의 특징 및 장점은 다음과 같음
1) 전장 시뮬레이터 기반 학습데이터 생성 기술
- “지형 선택 → 모의객체 배치 → 모의객체 임무 부여 → 시나리오 저장”을 통해 실내외 전투환경에서 다양한 객체 간(예, 군인, 탱크, 드론) 임무를 수행하는 실전과 같은 전장환경 시나리오 생성 기능 구현
- 시나리오를 구성하는 개별 에이전트의 1인칭 시점에서 관찰한 장면 이미지 파일(.png)과 객체 속성파일(.csv)를 생성을 통해 전장상황인지 모델 학습에 필요한 메타데이터 생성 기능 구현
- 시나리오를 구성하는 군집 개체의 특징/속성을 저장하는 기능, 시나리오를 구성하는 객체가 다른 객체와 형성하는 관계정보를 저장하는 기능, 시나리오를 구성하는 개별 객체의 특징/속성을 저장하는 기능 구현
2) 시공간 비주얼 그라운딩 기술
- 비정형화된 멀티모달 데이터들의 상관관계를 분석하여 시공간 Visual Grounding 기술 기반 분할되지 않은 동영상에서 텍스트에 대응되는 시간적 분할 영역 검출 기술
- 동영상 질의응답을 위한 동영상 텍스트-시공간 비주얼 그라운딩 기술에 필요한 비주얼 그라운딩 모델을 텍스트와 이에 대응되는 동영상 데이터셋을 통해 멀티모달 학습을 진행하는 기능
3) 다중센서기반 협조적 객체 인식 기술
- RGB 이미지 및 Depth 이미지 취득이 가능한 다수의 3D 센서 환경에서 동작
- 개발환경: Ubuntu 18.04, C++, Python 2.7, Python 3.5, ROS melodic 이상, Tensorflow v2.5, ZED Stereo Camera, ZED2, RGB 이미지 해상도 1280x760
타 기관 기술료 배분 여부
아니오
본 기술은 실시간 전투상황에서 수집된 정보를 바탕으로 단위 지식들간의 상관관계 매핑을 통한 시공간 다계층 전장 모델 기반 전역 상황 인지 기술 개발하기 위해 (1) 전장 시뮬레이터 기반 학습데이터 생성 기술 (2) 시공간 비주얼 그라운딩 기술 (3) 다중센서기반 협조적 객체 인식 기술로 구성된다.
1) 전장 시뮬레이터 기반 학습데이터 생성 기술: 개별 에이전트의 협업 지능을 융합하여 전역적 상황을 파악하는 기술 개발에 필요한 학습데이터를 생성하기 위한 기술
2) 시공간 비주얼 그라운딩 기술: 동영상과 대응되는 텍스트를 이용하여 동영상 내의 객체 및 관계를 추출하고 이를 이용하여 시공간 장면 그래프를 생성할 수 있도록 모델을 학습하여 단일 에이전트 관점에서의 지식 추출 및 관계 생성 기술
3) 다중센서기반 협조적 객체 인식 기술: 다중센서 정보를 활용하여 단일 센서를 사용하는 경우 발생할 수 있는 사각지대 탐지 불가, 주변 환경 및 사물에 의한 가림(Occlusion), 객체 인식을 위한 정보 불충분 상황 등에 대처가 가능한 협조적 객체 인식 기술
가. 기술이전의 내용
A. 기술명 : AI 군참모 기술
- 전장 시뮬레이터 기반 학습데이터 생성 기술
- 시공간 비주얼 그라운딩 기술
- 다중센서기반 협조적 객체 인식 기술
나. 기술이전의 범위
A. 기술명 : AI 군참모 기술
- 요구사항 정의서
- 시스템 구조 설계서
- 시험절차 및 결과서
- AI 군참모 프로그램 (소스)
ㅇ 성과활용
- 전장 공간에 대한 인지 정보 능력과 지능화된 무기체계가 전쟁 승리에 미치는 영향이 증가하는 상황 속에서 지휘관들의 지능화를 통하여 잠재적 위협요인을 식별하고 신속하게 대응하는 미래국방 지능 능력 확보 가능
- 전장의 상황식별 및 인지증강으로 아군과 민간인의 인명 피해를 최소화하여 생존성을 향상시킬 수 있을 뿐만 아니라 정보공유를 통한 작전 수행 능력 향상
- 국방 분야에서 새로운 인공지능 분야의 기술을 지능형 시스템에 접목하여 지능 분야에 대한 새로운 시장을 개척하고 개별기술에 대한 한계를 극복
- 국방 분야 적용을 위한 AI 기반 상황 인지증강 기술의 국산화 및 원천기술 확보
- 감소하는 병력 문제 해결과 함께 강력한 무기체계가 될 수 있는 AI 디지털 참모에 필요한 핵심기술 확보
- 제안기술은 기존 기술의 제약을 획기적으로 넘어서는 도전적인 과제로, 1단계 종료 결과를 토대로 중장기적으로는 AI 디지털 참모 구현을 위한 준비기술로 활용
ㅇ 확산계획
- 본 기술은 실제 전장, 훈련용 테스트베드 및 각종 시뮬레이션을 통해 수집한 빅데이터 기반의 다양한 상황 학습을 통해 실제 전장 환경이나 전투 훈련시에 적용 가능함
- 인공지능 딥러닝 모델 기반의 실시간 상황인지 원천 기술은 다양한 빅데이터에 대한 학습을 통해 국방 분야뿐만 아니라 자율주행 자동차, 지능형 로봇, 스마트 팩토리, 지능형 보안/방범, IoT 서비스 등 각종 민간 4차 산업혁명 분야에서 핵심 기술로 활용이 가능함