ETRI-Knowledge Sharing Plaform

본 기술이전은 다양한 침투테스팅 환경에서 강화학습 기반 사이버 공격 에이전트(모델)를 신속히 학습하고, 사이버 공격 시나리오를 생성하여 실환경 적용이 가능한 “강화학습 기반 사이버 공격 시뮬레이션 기술”에 관한 것이다. 특히, 본 기술이전 대상인 마이크로 분해(Micro Decomposition, MD) 기반 사이버 공격 시뮬레이터(MD-ENASim-Gen)는 위 한계를 해결하기 위해, 대상 네트워크를 소스→목적지로 구성된 2-노드 쌍인 Basic Block(BB) 단위로 분해하고, 소스 노드를 토폴로지와 무관한 정규화 상태(Canonical Source State)로 표현하여 행동 공간을 네트워크 규모와 무관하게 고정한다. 이를 통해 BB 단위로 학습된 단일 정책을 훈련에서 관측되지 않은 네트워크에도 재학습 없이 재사용(일반화)하여, 다양한 훈련 시나리오(네트워크·호스트 구성)에 대한 공격 시나리오를 자동 생성하는 '강화학습 기반 사이버공격 시뮬레이션 기술 v3'에 관한 것이다.

?(일반화 요구) 사이버 훈련장은 훈련 목적·훈련생 수준·도메인에 따라 서로 다른 다수의 네트워크 구성을 요구하나, 기존 기술은 구성마다 재학습이 필요하여 다양한 공방 시나리오를 신속히 공급하기 어렵다. MD는 하나의 정책으로 임의 토폴로지에 대응하여 이 문제를 해소한다.
(학습 효율) 행동 공간을 고정(예: |A|=160)함으로써 네트워크가 커져도 탐색 공간이 폭증하지 않으며, PPS 기반 행동 마스킹으로 실행 불가능한 행동을 원천 배제하여 학습을 가속한다.
(시장·정책 수요) AEV·CTEM·BAS·PTaaS등 자동화 보안검증 시장이 고성장하고 있으며, '미지 네트워크에서도 실행 가능한 공격 시나리오를 자동 생성'하는 엔진은 레드팀 훈련·보안솔루션 평가·사이버 훈련장의 공통 기반 기술로 요구된다.

기존 강화학습 기반 사이버 공격 시뮬레이션 기술이 제공하던 MITRE ATT&CK PPS(Pre/Post-State) 기반 시뮬레이션의 정확도 강점을 계승하면서, Micro Decomposition·고정 행동 공간·지속학습·2계층 추론을 더하여 한번의 학습으로 다양한 환경에서 사이버공격 시뮬레이션이 가능한 일반화(Generalization) 성능을 핵심으로 고도화한 기술이다.

본 기술이전은 다양한 침투 테스트 환경에서 강화학습 기반 사이버 공격 에이전트를 학습하고, 미학습 네트워크에 대해서도 재학습 없이 공격 시나리오를 생성하는 ‘강화학습 기반 사이버 공격 시뮬레이션 기술 v3 (Micro Decomposition 기술 적용)’을 제공한다.

- 공격 에이전트 학습 기능 블록
. Micro Decomposition 기반 BB Pool 자동 생성 기능: ATT&CK PPS를 기준으로 src→dst 2-노드 간 다단계 공격이 가능한 BB를 자동 생성·구성(BB Pool)
. 사이버공격 에이전트 학습 제어 및 지속학습(망각 방지) 기능: BB 단위 PPO 학습(Explorer)과 지속학습(Keeper 통합, Online EWC·리허설)으로 단일 배포 정책을 생성
. 행동 마스킹(Action Masking) 기능 : PPS pre_state 미충족 행동을 PPO logit ?∞로 차단하고 NoActionBuffer 캐싱으로 재계산을 절감
. 2계층 추론 기반 공격 시나리오 생성 기능 : Global Planner(후보 BB 선택·전환)와 BB Attack Executor(테크닉 실행)로 전체 공격 경로(AttackTrace)를 생성하며, 단일 목표 다양 경로 및 다양 목표 시나리오 생성을 지원

- 공격 시뮬레이션 기능 블록
. 네트워크 사이버공격 시뮬레이션 환경 생성 기능: 네트워크 구성(서브넷·토폴로지· 방화벽)·호스트 자산(OS·서비스·취약점·파일)·ATT&CK PPS 기반 공격 기법이 정의된 사이버 훈련장 모델 파일(yaml)을 분석하여 데이터 기반 시뮬레이션 환경을 생성
. 공격 테크닉(PPS) 모의 실행 및 환경 상태 동적 업데이트 기능: 결정된 공격 기법을 타겟 호스트에 시뮬레이션하고, PPS post-state에 따라 환경 상태와 보상을 갱신
본 기술이전은 해당 기술에 관한 요구사항정의서, 설계·구현 문서, 시험절차서 및 결과서 등의 관련 문서 및 프로그램을 계약 시 이전한다.
- 요구사항정의서 (자가진화형 AI 기반 사이버공방 핵심원천기술 개발) (v1.3)
- 마이크로 분해(Micro Decomposition) 기반 사이버 공격 시뮬레이터 설계명세서 및 구조·기능 설계서 (v1.0)
- 마이크로 분해(Micro Decomposition) 기반 사이버 공격 시뮬레이터 기능구현결과서 (v1.07) 및 기능설명서 (v2.1)
- 강화학습 기반 사이버공격 시뮬레이션 기술 v3 (Micro Decomposition 기술 적용) 시험절차및결과서 (v1.1.2)
- 마이크로 디컴포지션 기술을 적용한 강화학습 기반 사이버공격 시뮬레이터 프로그램 (v1.0)
- 지식재산권 : 마이크로 분해 (Micro Decomposition) 기반 사이버 공격 시나리오 자동 생성 방법 및 장치 (관리번호 : PR20260552KR)

?단일 학습 정책을 다양한 훈련 네트워크에 재사용하여, 훈련장이 요구하는 공방 시나리오를 신속·저비용으로 확보. 국가 주요 기반시설 대상 취약점 분석 및 대응전략 평가를 통해 사이버 안전성 확보 및 대규모 피해 예방에 기여
고성장 중인 BAS·AEV·PTaaS 시장에서 '미지 토폴로지 일반화'라는 차별화 기술력으로 경쟁력 확보 및 시장 선도, 국내 보안 스타트업 기술 고도화에 기여