ETRI-Knowledge Sharing Plaform

- 본 기술은 넓게 분포되어 있는 IoT (Internet of Things) 센서/디바이스들로부터 지속적으로 발생하는 스트림 데이터를 빠르고 효과적으로 분석하기 위한 분석 플랫폼 기술이다. IoT 환경에서 보다 빠르게 특정상황에 대하여 분석 대응할 수 있고, 전역적인 분석에 앞서 지역적인 분석을 우선 수행하는 형태로 구성할 수 있다.
- 본 기술은 IoT 스트림 데이터에 대하여 불필요한 데이터 유입을 필터링하거나, 시계열 연속 데이터의 예측 분석을 효과적으로 할 수 있는 방법론을 제공한다.
- 단, 기술이전 대상 항목은 다음 3가지 항목을 조합하여 구성할 수 있다.
① IoT 스트림 데이터의 서버 분석 기술
② 분석 SW 생성을 위한 DAG 기반 개발 환경 도구
③ IoT 게이트웨이 상의 전처리 및 지엽적인 분석이 가능한 에지 분석 기술

- 최근 4차 산업혁명의 도래를 예견하면서 IoT 환경의 도입이 가속화 되고 있음. 이에 따라 기하급수적으로 증가하는 센서/디바이스들로부터 발생하는 데이터를 빠르게 처리할 수 있고, 이로부터 지능적인 분석을 통하여 인사이트를 확보할 수 있는 기술이 필요함
● 대규모로 동시다발로 발생하는 데이터의 빠른 처리 능력
● IoT 환경의 지속적인 확장에 대응하기 위한 시스템의 확장성
● 신속한 대응을 위한 저지연성
- 그러나 데이터 분석은 데이터에 대한 이해와 다양한 분석 및 해석 능력이 필요하고, 적정한 모델 생성을 위하여 분석 방법을 다양하게 적용하고, 결과 확인을 쉽게할 수 있는 분석SW 개발환경이 필요
● 분석 과정을 쉽게 표현할 수 있는 개발환경
● 광범위한 센서/디바이스의 입력과 분석방법간의 연결이 원활하고, 재가공이 가능한 형태의 분석 SW 생성 및 배치 기술 필요

- DAG 기반으로 데이터 분석 개발환경 제공으로 상대적으로 쉽게 데이터 분석 모델링을 수행할 수 있음
- 필터링 도구, 선형 회귀 분석 등 IoT 환경에 최적화된 데이터 분석 방법 제공
- 저지연으로 일반적인 스트림 처리 솔루션보다 빠르게 반응할 수 있음

A. IoT 스트림 데이터의 서버 분석 기술
- 서버 분석 SW/Job 생성 분배 기술
- 전역 스트림 데이터 실시간 전처리 및 분석 기술
- 서버 분석 태스크/관리 기술
B. 분석 SW 생성을 위한 DAG 기반 개발 환경 도구
- GUI 기반 DART 프로젝트 관리 기술
- DAG 기반 DART 프로젝트 및 서비스 생성 기술
- 분석 Job 모니터링 및 가시화 기술
C. IoT 게이트웨이 상의 전처리 및 지엽적인 분석이 가능한 에지 분석 기술
- 에지 분석 태스크 생성/분배/관리 기술
- 에지 스트림 데이터 수집 및 Actuator 작동 기술
- 에지 스트림 데이터 실시간 전처리 및 분석 기술
- 분석 에지 SW/Job 관리 기술
- DART 태스크 협업 분석 기술
A. 기술명 : IoT 스트림 데이터의 서버 분석 기술

o 동작환경
- 지원 하드웨어 모델 : x86 기반의 서버
- 지원 운영체제 : Ubuntu 14.04.5 LTS (Debian-based Linux 8)
- 활용 공개 SW: Apache Spark
- 기타 SW: Java 1.8
o 기능
- 서버 분석 SW/Job 생성 분배 기술
● 서버 분석 SW의 수신/저장/실행 기능
● 서버 분석 Job 편성 및 관리 기능
● 서버 분석 Job의 실행/중지/조회 기능
● Apache Spark 연동 기능
- 전역 스트림 데이터 실시간 전처리 및 분석 기술
● 전역 스트림 데이터 전처리 기능 (Min-max Scaler, Normalization, Imputer 등)
● 전역 스트림 데이터 기계학습 분석 기능 (Linear Regression, K-means Clustering 등)
- 서버 분석 태스크 생성/관리 기술
● 서버 분석 어플리케이션 생성/실행/중지 기능
● 서버 분석 태스크 생성 및 태스크 액터를 통한 실행/중지 기능
● 태스크 추적 관리 및 모니터링 기능

B. 기술명 : 분석 SW 생성을 위한 DAG 기반 개발 환경 도구

o 동작 환경
- 지원 하드웨어 모델 : X86 기반의 Server Cluster
- 지원 운영체제 : Windows 7 or above (with Eclipse Neon)
- 활용 공개 SW:
o 기능 :
- GUI 기반 DART 프로젝트 관리 기술
● GUI 기반 DART 프로젝트 생성/관리 기능
● GUI 기반 CoT/IoT 생성/관리 기능 (JSON 지원)
● GUI 기반 DART 태스크 생성/관리 기능
- DAG 기반 DART 프로젝트 및 서비스 생성 기술
● DAG 기반 DART 서비스 생성/편집/관리 기능 (Drag & Drop)
● DAG 기반 DART 프로젝트 코드 생성 기능
- 분석 SW/Job 모니터링 및 가시화 기술
- 동작환경
● DART SW/Job 모니터링 기능
● 머신 별 Job 실행 상황 요약 뷰 기능
● Job 실행 상세 정보 Metric 추출 및 도표 작성 기능
● Job 실행 DAG 가시화 및 성능 정보 모니터링 기능

C. 기술명 : IoT 게이트웨이 상의 전처리 및 지엽적인 분석이 가능한 에지 분석 기술

o 에지 분석 태스크 생성/분배/관리 기술
- 동작환경 :
- 지원 하드웨어 모델 : Raspberry Pi 2/3
- 지원 운영체제 : Rasbian Jessie, Ubuntu 14.04.5 LTS (Debian-based Linux 8)
- 활용 공개 SW:
- 기타 SW: Java 1.8
o 기능 :
- 에지 분석 태스크 생성/분배/관리 기술
● DART 에지 분석 어플리케이션 생성/실행/중지 기능
● DART 에지 분석 태스크 생성 및 태스크 액터를 통한 실행/중지 기능
● 태스크 추적 관리 및 모니터링 기능
- 에지 스트림 데이터 수집 및 Actuator 작동 기술
● 지엽 분석을 위한 다종의 스트림 데이터 입력 지원 (Apache Kafka, File, Socket, RESTful 등)
● 지엽 분석을 위한 스트림 데이터 및 배치 윈도우 지원 기능
● 지엽 분석을 위한 다종의 데이터 전송/출력 지원 (Actuator, File, Socket, RESTful 등)
- 에지 스트림 데이터 실시간 전처리 및 분석 기술
● 지엽 분석 스트림 데이터 전처리 기능 (Min-max Scaler, Normalization, Imputer 등)
● 지엽 분석 스트림 데이터 기계학습 분석 기능 (Linear Regression, K-means Clustering 등)
- 분석 에지 SW/Job 관리 기술
● 협업 분석 SW의 수신/저장/실행 기능
● 협업 분석 Job 편성 및 관리 기능
● 협업 분석 Job의 실행/중지/조회 기능
- DART 태스크 협업 분석 기술
● Job 에지-서버 협업 분석 지원 기능
● 분석 노드 상태 관리 및 태스크 다중 노드 할당 기능
● 다중 노드 및 태스크 추적 관리 및 모니터링 기능

- 본 이전기술은 IoT 환경에서 데이터의 의미를 분석하고, 관심대상의 변화 감지 및 예측하기 위한 기술로 활용할 수 있음
- 제품화 및 활용분야는 실시간 전력감시 및 BEMS(Building Energy Management System), 스마트 팜, 스마트 홈/오피스/빌딩의 위험관리 및 모니터링, 스마트 시티, 스마트 팩토리 등 광범위하게 활용 가능
- 본 기술은 일반적인 스트림 데이터 처리 기술에 비하여 서버 부하를 줄일 수 있고, 서버 용량 대비 고효율로 IoT 환경의 데이를 처리할 수 있으며, IoT 환경에서 최적화된 분석 도구를 제공하여, IoT 스트림 분석 솔루션에서 경쟁력을 가질 수 있을 것으로 기대할 수 있음