Cloud of Things, Data stream, Stream analysis, data stream analysis, hierarchical data
Funding Org.
미래창조과학부
Research Org.
한국전자통신연구원
Project Code
15MS5300, (ICBMS-1) Development of a Hierarchical Data Stream Analysis SW Technology for Improving the Realtime Reaction on a CoT(Cloud of Things) Environment,
Ok Gee Min
Abstract
o 최종목표 CoT(Cloud of Things) 환경에서 실시간 빅데이터 분석 및 빠른 대응을 위해 기존의 서버 집중처리 방식의 한계를 극복하고 4A* 특징을 만족하는 에지(Edge)-서버 간 계층적 협업 분석 방식의 FastData 스트림 분석 SW 기술 개발 *4A: Actionable(바로행동), Agile(민첩성), Accurate(노이즈제거), Anonymous(익명성) o 년차별 목표 구분 1차년도 (2015) 2차년도 (2016) 3차년도 (2017) 내용 시스템 설계 및 원천성 확보용 단위모듈 개발: 시스템 설계, CoT 구성 표현 정의 및 프레임워크 모델링, 단위 요소기술 개발, 비식별화 실시간 검증 방법 연구 CoT 기반 FastData 스트림 분석 SW 1.0 개발: 다양한 CoT 동적 구성 기능 구현, 장애관리가 가능한 태스크 분배형 분석 프레임워크 구현, 인메모리 클러스터링 스트림 처리 구현, 비식별화 변환/연계 분석 SW 개발 CoT 기반 FastData 스트림 분석 SW 2.0 개발: 다중 계층 CoT 구성 구현, 고가용성을 지원하는 계층분석 SW 프레임워크, 비식별화 데이터 유통 기술 개발 2. 개발내용 구분 1차년도 (2015) 2차년도 (2016) 3차년도 (2017) 연구개발 목표 [요구사항정의] CoT 기반 계층적 스트림 분석 SW 요구사항정의 [시스템 설계] CoT 기반 계층적 스트림 분석 SW 시스템 설계 [상세설계: CoT 동적구성] CoT 동적 구성 서브시스템의 상세 설계 [상세설계: 계층 분석] CoT 기반 계층분석 서브시스템 상세 설계 [상세설계: 비식별화] 계층적 CoT 데이터 비식별화 서브시스템 상세 설계 프로토타입 구현 공개 SW 기반 테스트베드 구축 내용 ● CoT 기반 계층적 데이터 스트림 분석 SW의 사용자 및 기능적인 요구사항을 정의하고, 설계에 필요한 기반 SW 및 기법들에 대한 연구 ※ 시스템 코드명: DART(Data Analysis for Real-time CoT stream data) ● 요구사항정의 완료 － DART 시스템 사용자 정의 : DART 서비스 개발자와 DART 서비스 사용자 － 시스템 사용방법 정의 : 시스템 사용 흐름 정의 및 협업 분석 SW의 수행 방법 정의 － 시스템 기능 정의: 서버-에지 협업분석, 에지 실시간 분석, GUI 개발환경, 동적 CoT 구성관리, 개인정보/사생활 정보은닉, 서버 확장 등 ● 사업 프로세스 정의 완료 － 시스템 개발 절차 및 관리체계 정의 ● 시스템 관련 공개 SW 및 논문 분석 － 스트림 처리 프레임워크 공개 SW 비교분석: Spark, Storm, Flink, 등 － 데이터 분석 SW 및 방법론 Study: MLlib, GraphX, streaming data mining 기법 등 － Job Scheduler: Spark Native Scheduler, Yarn, Mesos, Sparrow 등 ● 연구개발 주요 산출물 － CoT-SYS-요구사항정의서-1.0, 민옥기 외, “[요구사항정의] CoT (Cloud of Things) 환경에서 실시간 반응성 향상을 위한 계층적 데이터 스트림 분석 기술 (v1.0),” 2015.7.30. － CoT-PRJ-사업프로세스-1.0, 민옥기 외, 2015.08.03. － 기타 – 관련 공개 SW 및 논문 분석 기술문서 8건 ● “CoT 기반 계층적 데이터 스트림 분석 SW (DART)”의 서브시스템 구성과 서브시스템 간의 인터페이스 정의 ● 서브시스템 정의 및 서브시스템 간 인터페이스 정의 완료 － 서브시스템 및 서브시스템 내의 블록 정의 － 시스템 구조 정의 － 서브시스템 간 인터페이스 정의 ● 기능 정의 완료 － CoT 동적구성관리의 CoT 관리서버와 CoT 매니저 기능정의 － 계층적 협업분석의 분석서버와 분석에지 각각의 기능과 이들간의 제어 및 데이터 흐름 정의 (개발통합환경, 분석서버, 분석에지, 배포) － 실시간 비식별화의 주요기능 정의 ● 연구개발 주요 산출물 － CoT-SYS-시스템설계서-v1.0, 김지용 외4인, “[DART 시스템 설계서] CoT 환경에서 실시간 반응성 향상을 위한 계층적 데이터 스트림 분석SW기술 개발 (v1.0),” 2015.10.14. － 설계와 관련한 기술문서 6건 ● 위치 및 목적기반 동적 CoT 구성을 위한 디스크립션 설계 － 위치 및 목적기반 동적 CoT 구성을 위한 Description 설계 완료 ● CoT 동적 구성 환경을 지원하는 다중 CoT 관리 기술 설계 － CoT 동적 구성 프레임워크 설계 완료 － 다중 CoT 관리 기술 설계 완료 ● 연구개발 주요 산출물 － 이상신 외, “CoT API Specification v01.0,” 2015.11 DART 시스템의 상세설계 수행 및 프로토타입 구현을 위한 샘플 데이터 분석 ● FastData 계층적 협업 분석 서브시스템 상세 설계 완료 － 개발통합환경 블록 상세설계: 분석환경 설정도구, 개발도구, 분석모델 가시화 도구 및 상호 인터페이스 설계 － 분석 서버 블록 상세설계: 협업 분석 SW 배포/삭제/실행/중지/모니터링/장애대체 등 － 분석 에지 블록 상세설계: 에지 분석 SW 관리, FastData 분석/처리, CoT 스트림 데이터 수집, CoT 매니저와 인터페이스, Actuator 수행방법 상세 설계 ● BEMS 샘플 데이터의 구성 형식 분석 ※ BEMS: Building Energy Management System － 전체 VTT (25개월 분량), 4000여개 파일 중 158개 센서 데이터 샘플의 상관관계 및 분포도 분석 － R을 이용한 정적 분석 ● 연구개발 주요 산출물 － CoT-SYS-기능규격서-v1.0, 김지용 외4인, “[DART 기능 규격서] CoT 환경에서 실시간 반응성 향상을 위한 계층적 데이터 스트림 분석SW기술 개발 (v1.0),” 2015.11.11. － 상세 설계 및 BEMS 데이터 분석 과정에서 도출된 기술문서 6건 ● 비식별화 FastData 변환기술 상세설계 － 정형 실시간 Fast Date 범주화/총계처리 설계 － 정형 실시간 Fast Date 그루핑 기반 변환 기술 설계 ● Intra-CoT 용 비식별화 개발 － Intra-CoT 용 FastData 내 정형 개인식별 정보의 실시간 비식별화 기술개발 완료 (삭제, 범주화, 총계처리) － Intra-CoT 용 정형 개인식별 정보에 대해 재식별이 불가능한 그루핑 기반 비식별화 기술 개발 ● 주요내용: FastData 계층적 협업 분석 SW 구현을 위한“클라이언트–서버-CoT게이트웨이–디바이스-사물“ 환경 구축 및 공개 SW(Spark) 설치 분석 ● 시스템 환경 구축: 서버 및 개발환경 구축 ● IoT 게이트웨이 및 센서 환경 구축 [시스템 테스트베드 구축] ● 센서 스트림의 시각화 시험 － 제플린을 이용한 온습도 시각화 ● 연구개발 주요 산출물 － 테스트베드 환경 구축과 관련한 기술문서 2건 ● 설계된 내용 중 주요 기능 및 프레임워크 구성을 위한 프로토타입 구현 및 BEMS 데이터의 유효 분석 시나리오 도출 ● 프로토타입 구현 － 테스트베드 환경을 기준으로 CoT 및 디바이스 디스크립터를 고정적으로 설정 － 분석환경도구에서 계층적 협업 분석 SW를 DAG 환경에서 작성 후, 배포 도구를 활용하여 서버와 에지에 설치하는 배포 프레임워크 구현 － 에지 분석 SW를 배포 받아 설치하는 에이전트 구현 ※ DAG: Directed Acyclic Graph ● BEMS 데이터를 이용한 유효 시나리오 도출 및 분석 SW 구현 중 － VTT 25개월 실측데이터 : 4464개 파일, 5분 단위, 23만 데이터/파일 － BEMS 데이터의 추정 구조 ● 계층적 스트림 분석을 위한 그래픽 사용자 인터페이스 개발환경 ● 계층적 스트림 분석 SW 프로토타입 기반 응용 SW 구현 － SafeHome: 가정 내 화재/침입 감지하는 가정 안전 시나리오
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.