본 이전기술(이하, KAP-E 기술)은 실시간 데이터 수집 및 처리, 그리고 기계 학습모델을 이용한 실시간 서빙을 위한 시스템을 동적으로 구성하여 실행 및 운영할 수 있는 기술을 제공한다. 더 나아가 하나 이상의 동적 시스템의 파이프라인을 구성하여 다양한 목적의 실시간 지능형 서비스를 쉽게 빠르게 디자인하여 실행하고 운영할 수 있으며, 다수의 지능형 서비스를 융합하여 새로운 서비스를 창출하는 융합 서빙 시스템을 실행하여 운영하는 것도 가능하다. 또한 학습모델을 주기적으로 파인튜닝하여 최적의 모델을 지속적으로 갱신하여 지속적인 최적화된 서비스하는 제공하는 것도 가능하다. 시스템 구성에 활용할 수 있도록 자주 사용하는 지능서비스를 위한 데이터셋, 학습코드, 모델, API 등의 자원을 등록하여 관리할 수 있다. 또한 엣지 플랫폼과의 연동 기능과 토큰 발급 기능을 통해 현장의 데이터와 디바이스를 보다 안전하고 손쉽게 접근하고 제어하는 것이 가능하다.
KAP-E를 이용하면 하나의 지능형 판단과 예측 결과의 모니터링 뿐만 아니라, 다양한 실시간 지능형 제어 서비스를 손쉽게 설계-개발-배포-운영할 수 있다. 따라서 지능형 제조공정, 스마트 물류, 스마트 시티 등 스스로 판단하여 제어가 필요한 다양한 도메인에 필요한 지능 서비스 응용 시스템을 빠르게 프로토타입 하여 현장 최적화하고 동시에 이를 적용할 수 있다. 본 이전기술에서 제공하는 프레임워크 확장 인터페이스를 통해 새로운 모듈을 만들어 추가할 수 있다. 기업들은 개발환경을 이용하여 새로운 소프트웨어 모듈을 컴퍼넌트 형태로 개발하고 등록할 수 있으며, 이를 통해 본 기술의 기능을 확장할 수 있다.
A. 목적
- 인공지능 서비스를 개발하고 배포, 운영하기 위한 인프라 기술을 제공함으로써 산업에서 필요로 하는 인공지능 기반의 서비스 시스템을 빠르게 개발하고 운영, 현장 최적화함으로써 양질을 인공지능 서비스를 개발 운영할 수 있는 DevOps 플랫폼 기술을 제공 하는 데에 그 목적이 있다.
- 또한, 기업들이 자신들의 IT 기술력과 인공지능 기술력을 내재화할 수 있는 구조를 제공함으로써 기업들이 인공지능 기술력을 자체적으로 축적하여 확장해 갈 수 있는 기반을 제공하는 데 있다.
B. 필요성
- 다양한 영역에서 인공지능에 대한 필요성을 인식하고 있으나, 대부분 머신러닝 모델의 학습 정확도를 개선하는데만 노력에 집중되어 있다.
- 하지만, 지능형 서비스의 만족도는 서비스의 실시간성 요구와 데이터의 불안정성 등으로 모델개발자들이 바라보는 학습모델의 정확도와는 거리가 있다.
- 실제 산업에서 머신러닝 기술을 이용한 인공지능 서비스를 제공받기까지는 데이터에 대한 처리부터, 학습, 서빙 등을 위한 다양한 인프라 기술들이 필요하며, 이들이 산업 시스템과 연계되어 유기적으로 작동되어야 한다.
- 하지만 다양한 인프라 기술을 도입하여 연계, 운영하기 위한 인력의 공급이 충분치 않다.
- 인공지능 기술을 도입하고자 하는 대다수 기업들이 이러한 기술을 습득하고 내재화하는데 상당한 시간과 노력이 요구된다. 또한 기술들이 기업의 자산으로써 지속적으로 축적되지 않고 사일로된 개발과 유지보수, 폐기가 반복된다.
- 따라서, 인공지능 서비스의 제공을 위한 실질적인 공통 인프라 기술과 운영기술이 절실하다.
A. 특징
- 현장 적용형 지능서비스를 위한 워크플로우 구성 프레임워크 기술
. 데이터 처리, 모델 학습, 학습모델 기반 서빙, 서빙을 융합한 응용서비스를 포함한 인공지능 파이프라인 기능
. 빅데이터, 모델학습, 서빙을 위한 일원화된 인프라의 연동 제공하며 이를 통한 인공지능 서비스를 위한 실시간 처리와 배치 처리 파이프라인 구성 가능
. 파이썬 모듈, 예측모델을 탑재하여 서빙할 수 있는 마이크로서비스 기술 제공
. 엔진컨테이너를 구성하는 구성체로서, 5가지의 컴퍼넌트의 유형 존재하며 이를 조합하여 엔진을 생성하는 모듈식 구성 기술
● Reader 데이터 발생지로부터 데이터를 읽어오기 위한 컴퍼넌트 유형
● Writer 데이터 저장소로 데이터를 출력하기 위한 컴퍼넌트의 유형
● Operator 데이터를 처리하기 위한 컴퍼넌트의 유형
● Runner 실행 런타임을 실행하기 위한 컴퍼넌트 유형
● Controller 엔진컨테이너 내의 처리절차를 구성하고 실행을 주관하는 컴퍼넌트의 유형
. 학습모델의 현장적응을 위한 자동 모델 평가 및 업데이트를 위한 워크플로우 지원
- 워크플로우의 정의/배포/운영 DevOps 플랫폼 기술
- 웹 기반의 워크플로우 저작도구 제공
KSB 인공지능 프레임워크는 유기적인 관계에 있는 일련의 작업의 흐름을 나타내는 워크플로우 개념 도입. 워크플로우는 독립적인 실행 시스템에 해당하는 단위인 엔진 을 하나 이상 선언함으로써 정의될 수 있음. 독립적인 논리 배포단위인 엔진은 엔진의 틀에 해당하는 엔진 컨테이너 에 필요한 컴퍼넌트 를 선언함으로써 정의할 수 있음. 이러한 과정에 의해 정의된 워크플로우 스펙에 따라 프레임워크는 실행시스템을 동적으로 구성하고, 이를 도메인의 응용에 필요한 서비스를 제공하도록 클러스터 상에 실행
- 개발자들이 기능을 확장할 수 있도록 컴퍼넌트와 API를 개발할 수 있는 인터페이스를 제공 및 개발자들에 의해서 만들어진 컴퍼넌트나 API 들을 이용하여 응용을 개발하고 실행하도록 하는 사용자 인터페이스를 제공
B. 장점
- 실시간 지능형 서비스 수용 : 조립형 컴퍼넌트 간의 실시간성 제공으로 현장에서 다양한 사물의 즉각적인 지능형 제어를 수행할 수 있는 현장 지능형 서비스 인프라 아키텍쳐 제공
- 지능서비스의 현장 최적화: end-to-end 파이프라인 기술과 실시간 라벨링 및 예측서비스 평가 기능을 통한 지능서비스의 실시간 현장 최적화
- 기술 내재화 : SW/Data/Analytics/경험 등 기업의 데이터를 활용한 인공지능 기술력 축적하여 재활용할 수 있는 내재화 기능
- 다양성 : SW 컴퍼넌트들의 조합으로 다양한 응용 서비스 시스템 구성 가능
- 재활용성 : 워크플로우 재활용 및 공유 기능 제공
- 확장성 : 개발자 API를 이용한 3rd Party 컴퍼넌트 개발 및 등록 인터페이스 제공
- 편의성 :
(1) 웹 기반 DIY 워크플로우 저작도구 및 모니터링/실행/제어 인터페이스제공
(2) Stand-alone 실행환경과 웹툴킷 저작 환경을 포함한 컨테이너 기반 툴박스 제공
(3) 모델 학습과 서빙 프로세스 일원화
* KAP-E 코어
■ 하나 이상의 KAP-E엔진 컴퍼넌트들의 조합을 통한 동적 엔진 구성 기능
■ 실행요청에 의한 엔진 인스턴스 생성 기능
■ 엔진을 구성하는 KAP-E엔진 컴퍼넌트 유형들의 규격 제공
■ 사용자 관리
■ 내부 기능에 대한 접근제어 기능
■ 엔진 실행 사전사양검증 기능(빌드)
■ 엔진 배포 기능
■ 엔진의 실행 및 종료 제어 기능
■ 엔진의 실행시점을 스케쥴링하는 기능
■ 엔진이 제공하는 예측 서비스를 중단하지 않고 예측모델을 갱신하는 기능
■ 워크플로우 동시 실행 기능
■ 데이터셋/학습모델/학습코드 리소스 관리 기능
■ 파이썬 모듈/컨테이너 이미지/API 리소스 관리 기능
■ 엣지 플랫폼 리소스/구독 정보 관리 기능
■ 인증정보 리소스 관리 기능
■ 데이터셋/학습모델/학습코드/파이썬모듈 저장소 관리 기능
■ HDFS 스토리지 관리 기능
■ 엔진의 진행상태 조회 기능
■ 엔진의 건전성 상태를 확인하는 기능
■ 엔진 로그 출력 기능
■ API 인증/인가 클라이언트 기능
* KAP-E 엔진 컴퍼넌트
■ 외부 저장소로부터 적재하는 기능
■ 스트림 데이터를 적재하는 기능
■ 외부(엣지) 플랫폼으로부터 데이터 적재 기능
■ 데이터를 배치방식으로 처리하는 기능
■ 데이터를 스트림방식으로 처리하는 기능
■ 데이터를 비식별 처리하는 기능
■ 기계학습 모델 학습 기능
■ 딥러닝 모델 학습 기능
■ 자동기계학습 (AutoML) 기능
■ 머신러닝 모델의 스트림 방식 서빙 기능
■ 딥러닝 모델의 스트림 방식 서빙 기능
■ 딥러닝모델의 On-Demand 방식의 서빙 기능
■ 서빙에 의해 생성된 하나 이상의 서비스를 파이프라인하여 새로운 서빙을 제공하는 기능
■ 보안이 적용된 상태에서 외부 API와 서빙을 파이프라인 하는 기능
■ 하나 이상의 외부 서비스를 파이프라인하여 서비스를 제공하는 기능
■ 학습모델 Live 데이터 자동 라벨 생성 기능
■ 재학습된 딥러닝 모델 검증 기능
■ 학습모델 Live 데이터 평가 기능
■ 파일 시스템 간 파일의 이동 기능
* KAP-E 클라이언트
■ DIY 방식으로 워크플로우를 정의할 수 있는 저작 기능
■ 레지스트리 연동 워크플로우 저작 기능
■ 프로젝트 단위 워크플로우 관리 기능
■ 워크플로우 단위의 실행 상태 모니터링 기능
■ 엔진 단위의 실행 상태 모니터링 기능
■ 워크플로우 단위의 실행 제어를 요청하는 기능
■ 엔진 단위의 리소스 사용량 모니터링 기능
■ GUI 기반 HDFS 스토리지 파일 업로드/다운로드 기능
■ GUI 기반 HDFS 스토리지 관리 기능
■ 레파지토리와 HDFS 연동 파일 관리 기능
■ 데이터 시각화 기능
■ 사용자 관리 기능
■ 로그인 기능
■ 신규 엔진 컴퍼넌트의 저작도구 등록 및 관리 기능
■ 엔진 컴퍼넌트 셋의 버전 관리 기능
■ 엔진 템플릿 등록 관리 기능
. KAP-E 코어 SW (소스코드 제공)
. KAP-E 클라이언트 SW (소스코드 제공)
. 요구사항 및 구조설계 문서
. 설치 및 사용자 매뉴얼
* KAP-E 엔진 컴퍼넌트 SW (오픈소스 라이센스 정책)
A. 적용분야
1. 스마트공장/제조
2. 스마트시티
3. 교통
4. 사물인터넷 등
B. 기대효과
. 이전기술에서 제공하는 인공지능 서비스 파이프라인을 활용하여 기계학습모델 기반의 인공지능 서비스를 빠르게 프로덕션화(실제 응용 분야에 배포 및 운영)함으로써, 신속한 인공지능 개발-배포-운영-피드백의 사이클을 통해 인공지능 수준의 신속하고 점진적인 발달 효과를 얻을 수 있다.
. 특히 인공지능 알고리즘을 end-to-end 서비스 파이프라인과 함께 정의하여 배포하고, 프로토타입 운영 및 폐기의 반복 사이클을 통해 빠르게 현장 최적화할 수 있다.
. 이전기술에서 추구하는 동적 엔진 구성기술을 통해서, 기존의 인공지능 서비스를 위해서 개별적으로 시스템이 개발되고 운영됨으로써 발생하는 시스템 개발, 유지 및 관리하는데 드는 비용을 현저히 줄일 수 있다.