본 기술은 '엣지 서버 시스템 자원 관리 및 제어를 위한 경량 시스템 소프트웨어 기술 개발' 과제에서의 엣지 기기 데이터의 저지연/고속처리를 위해 컴퓨팅 모듈(CPU) 및 가속기(FPGA, GPU, NPU)를 활용한 '다중 엣지 서비스 분업 기술' 과 이를 구동하기 위한 '다중 엣지 서비스 실행 플랫폼 기술'로 구성된다.
본 기술은 다양한 컴퓨팅 모듈(CPU) 및 가속기(FPGA, GPU, NPU)를 연동해서 AI 추론과 같은 컴퓨팅 태스크를 분업 처리하는 기능과 이를 최적의 분산된 가상 환경(ex. 가상머신, 컨테이너)에 배치하고 실행하는 기능이 포함된다.
- 최근 다양한 분야에서 인공지능 기술이 도입되어 시스템에서 수집된 빅데이터를 학습하여 데이터에 내재된 속성, 연관 관계 등을 찾아내고, 학습된 지식을 바탕으로 유사한 상황에 대해 추론하는 방법이 활용되고 있다.
- 하지만 대부분의 산업 현장에서는 제한된 컴퓨팅 리소스 환경과 인공지능 서비스 수행을 위한 전문인력 부족과 같은 어려움을 겪고 있다. 그래서 이종 가속기(FPGA, GPU, NPU)와 CPU가 탑재된 물리적 엣지 서버들을 가상화하고 관리해서 소프트웨어 환경에서 다양한 엣지 서비스 요구사항을 만족시킬 수 있는 기술들을 필요로 하고 있다.
- 엣지 서비스는 그 요구 특성에 따라 최적의 가속기가 존재할 수 있으며, 이는 서비스 개발 단계에 결정되어, 최적화된 프로그램으로 개발된다. 엣지 서비스의 실제 실행 요청 시에는 해당 엣지 서비스가 요구하는 가속기가 배치된 물리적 서버 노드에 배치되어 서비스가 실행된다. (그림 1)은 본 기술의 시스템 구성도이다.
(다중 엣지 서비스 분업 기술) 본 기술은 기계학습 기반의 학습, 추론 등 인공지능(AI) 응용 서비스를 수행하기 위해서 다양한 기계학습 모델 기반의 추론 응용을 이종 가속기와 연동해서 분업처리하는 기능을 제공한다. 분업 처리란 엣지 환경의 카메라로부터 입력되는 하나의 영상 스트림으로부터 얼굴인식, 손동작인식, 행위인식, 글자인식 등 다양한 목적의 추론 작업을 엣지 서버 내의 컴퓨팅 모듈 및 가속기가 분업해 처리하는 것을 의미한다.
(다중 엣지 서비스 실행 플랫폼 기술) 본 기술은 ‘다중 엣지 서비스 분업 기술’이 구동될 수 있는 플랫폼 환경을 제공하고, 엣지 서비스의 동적 연계와 스케줄링 기능을 제공한다. 본 기술에서는 대표적인 가상화 서비스 오케스트레이션 기술인 구글의 쿠버네티스(Kubernetes)를 사용한다.
O 전체 기술 : 다중 엣지 서비스 분업 및 실행 플랫폼 기술
A. 1세부기술 : 다중 엣지 서비스 분업 기술
- 분업 처리 가상화를 위한 인터페이스
- 이종 가속기 기반 분업 처리 엔진
- 다중 엣지 서비스 모델 라이브러리
B. 2세부기술 : 다중 엣지 서비스 실행 플랫폼 기술
- 엣지 서비스 가상화 플랫폼
- 엣지 서비스 스케줄러
A. 1세부기술 : 다중 엣지 서비스 분업 기술
- 요구사항 정의서 1종
- 시험 절차서 및 결과서 1종
- 바이너리 코드 1종
B. 2세부기술 : 다중 엣지 서비스 실행 플랫폼 기술
- 요구사항 정의서 1종
- 시험 절차서 및 결과서 1종
- 바이너리 코드 1종
- 본 기술이전 기술은 열악한 산업 현장에서 다양한 엣지 기기들의 분산 처리 요구에 대응하는 엣지 서버 시스템 및 플랫폼 적용이 필요한 도메인에 적합하다.
- 기존 상용 클라우드 및 엣지 플랫폼은 실시간성 및 서버간 분업·협업 처리 기술에 대한 기술 개발은 미비한 상태이다.
- 본 기술이전 기술의 상용화를 통하여 제한된 리소스 환경에서 다양한 엣지 기기들이 수행하는 서비스에 대한 분업·협업 처리 기술을 통해 서비스 운영비용 절감 및 통합 관리 기능을 제공할 수 있다.
- 또한 제조, 농업, 조선·해양 등 데이터를 가지고 있지만 의사 결정이 고도화되지 않은 분야별 대표 기업을 중심으로 요구사항을 수렴해서 현장과 요구사항에 최적화된 형태의 서비스를 발굴하고 이를 연계하는 엣지 응용 개발로도 확대가 가능하다.