ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

클라우드 기반 데이터맵 상호운용 및 분석 인프라 운영관리 기술

전수책임자
원희선
참여자
김정은, 박경현, 원희선, 차우, 차우
기술이전수
1
이전연도
2019
협약과제
17HS4900, 국제표준 기반 오픈 데이터 유통 플랫폼 확장 기술 개발, 원희선
18HS2600, 국제표준 기반 오픈 데이터 유통 플랫폼 확장 기술 개발, 원희선
19HS5600, 국제표준 기반 오픈 데이터 유통 플랫폼 확장 기술 개발, 원희선
본 기술은 누구나 쉽게 데이터를 개방하고 공공, 민간의 국내외 데이터를 공유할 수 있도록, W3C의 데이터 카탈로그 표준인 DCAT을 기반으로 데이터 포털 간의 데이터셋 유통과 클라우드 환경의 분석 인프라 구축에 필요한 핵심 기술임.
본 기술은 오픈 데이터 유통 플랫폼의 세부 기술 중에서 데이터 분류체계와 카테고리 관리, DCAT 기반 데이터 공유 및 데이터 유통을 지원하는 데이터맵 상호운용 기술과 고수준의 멀티테넌시를 지원하는 분석 인프라 운영 관리 기술의 2개 항목으로 구성됨.
- 모든 산업 분야에서 데이터에 대한 관심과 수요가 급속히 증가하고, 국내외 공공기관 뿐만 아니라 민간 기업에서도 데이터에 대한 개방을 확대하고 있음
- 다양한 분야의 융합 서비스가 향후 미래 핵심 서비스가 될 것으로 예측되나, 대부분의 기관들이 독자적으로 데이터를 수집, 관리하고 있어서 상호간 데이터 소재 파악이 어렵고 활용도가 저조한 편임
- 중소/영세 기업의 빅데이터 기술 도입에 있어서, 컴퓨팅 시스템 구축 및 운영 비용에 대한 부담, 데이터 관리 및 분석을 위한 전문인력 확보가 주요 이슈로 대두됨
- 따라서, 기관, 개인 등이 누구나 쉽게 데이터를 공유하고, 클라우드 환경에서 바로 분석, 처리가 가능한, 확장된 개념의 오픈 데이터 유통 플랫폼 기술이 필요함
1) Datamap is based on the data management system that is reflected in the DCAT extension version by W3C.
2) Datamap interoperatbility supports for distributing DCAT data maps of different platforms also.
3) Advaced multitency support for cloud service such as allocating and monitoring computing resources by organization and user, creating and sandbox and sw provisiong capibilities dynamically.

- 데이터맵 상호운용
. W3C DXWG(Data Exchange Working Group)에서 개발되고 있는 DCAT 확장 버전을 고려하여 선 반영된 데이터 관리 체계를 기반으로 함
. DCAT 모델 기반의 분류체계, 카테고리 관리 기능
. DCAT 모델과 호환되는 데이터맵 생성, 배포 및 수집 기능
. 이종 플랫폼의 DCAT 데이터맵 배포 지원 기능
. 데이터 마켓플레이스 구축을 위한 유통 기능
- 멀티테넌트 분석 인프라 운영관리
. 샌드박스 생성 및 SW 프로비저닝 기능
. 조직, 사용자별 컴퓨팅 자원 할당 및 모니터링 기능
. 클라우드 컴퓨팅 자원 모니터링 기능
1. 기술이전의 내용

o 1세부기술 : 데이터맵 상호운용
- 테넌트(조직 및 사용자) 관리 기술
- 데이터 분류체계 및 카테고리 관리 기술
- 데이터 포털 간의 DCAT 기반 데이터 정보 공유 기술
- 데이터 유통 기술

o 2세부기술 : 멀티테넌트 분석 인프라 운영관리
- 클라우드 기반 실행환경 서비스 기술
- SW 이미지(개발환경, 분석도구 등) 프로비저닝관리 기술
- 분석 어플리케이션(알고리즘, 오픈 API) 등록, 배포 및 실행관리 기술
- 분석 어플리케이션(알고리즘, 오픈 API) 유통 기술

2. 기술이전의 범위

o 1세부기술 : 데이터맵 상호운용
. 동작환경
- 지원 하드웨어 모델 : x86 기반의 서버
- 지원 운영체제 : ubuntu 16.04.5 LTS
- 활용 공개 SW: java, postgreSQL, apache httpClient, commons, apache hadoop, apache kafka, keycloak, influxDB, docker, apache jena, spring, gradle, nodejs, feathersjs, axios, sequelize, winston, i18next, camelcase, compression, config, cors, dateformat, forever, nodemon, fs-extra, helmet, joi, moment, pg, sequelize-auto, serve-favion, unzug, uuid, winston-postgres, node-freeipa, node-influx, rdflib, cross-env, eslint, jest, pre-commit, multer
. 기능
- 사용자 통합 인증(SSO) 기능
- 테넌트(조직/사용자) 정보 등록, 수정, 삭제, 조회 기능
- 테넌트 활동로그 관리 기능
- 데이터 구매 정보 등록, 삭제, 조회 및 외부 결제 모듈 연동 기능
- 데이터 분류체계 등록, 수정, 삭제, 조회 기능
- 분류체계의 카테고리 등록, 수정, 삭제, 조회 기능
- 카탈로그 등록, 수정, 삭제, 조회 기능
- 카탈로그의 컴포넌트 등록, 삭제 및 연관관계 관리 기능
- 데이터셋, 배포파일 및 데이터서비스 등록, 수정, 삭제, 조회 및 연관관계 관리 기능
- 데이터서비스 접속 조회 기능
- 카탈로그, 데이터셋 및 데이터 서비스 정보의 DCAT RDF 생성 기능
- 이종 플랫폼의 메타데이터 정보 매퍼 기반 DCAT RDF 생성 기능
- 데이터 수집 소스 등록, 수정, 삭제, 조회 기능
- 데이터 수집 Job 실행 및 관리 기능
- 데이터셋, 배포파일 및 데이터서비스의 접속권한 등록, 수정, 삭제, 조회 기능

o 2세부기술 : 멀티테넌트 분석 인프라 운영관리
. 동작 환경
- 지원 하드웨어 모델 : X86 기반의 서버
- 지원 운영체제 : ubuntu 16.04.5 LTS
- 활용 공개 SW: apache guacamole, openstack, kubernetes, apache ambari, cloudbreak, apache spark, apache livy, apache zookeeper, apache hadoop, keycloak, influxDB, docker, spring, gradle, nodejs, feathersjs, axios, sequelize, winston, i18next, camelcase, compression, config, cors, dateformat, forever, nodemon, fs-extra, helmet, joi, moment, pg, sequelize-auto, serve-favion, unzug, uuid, winston-postgres, node-freeipa, node-influx, cross-env, eslint, jest, pre-commit, multer
. 기능
- Hadoop 파일 등록, 조회, 삭제, 접근 관리 기능
- Hadoop 파일의 접속권한 등록, 수정, 삭제, 조회 기능
- Hadoop Job 실행, 중지, 조회 기능
- 클라우드 기반 어플리케이션 등록, 수정, 삭제, 조회 기능
- 클라우드 기반 어플리케이션 실행, 실행 목록 조회, 정지 기능
- 네이티브 어플리케이션 등록, 수정, 삭제, 조회 기능
- 네이티브 어플리케이션 실행, 실행목록 조회, 정지 기능
- 물리머신, Hypervisor, 가상머신 조회 기능
- 컴퓨팅 자원 항장, 회수, 수정, 조회 기능
- docker 및 ansible 이미지 등록, 삭제, 조회 기능
- 샌드박스 등록, 삭제, 조회 기능
- 컨테이너 조회 기능
- 본 기술은 클라우드 환경에서 공공, 민간의 방대하고 다양한 빅데이터의 개방, 유통, 활용을 지원하는 PaaS(Platform as a Service) 플랫폼으로서, 데이터 포털, 데이터 유통 및 분석 마켓플레이스 구축 등에 광범위하게 활용 가능
- 본 기술의 각 세부 기술은 모듈화되어 다양한 응용 서비스 개발을 위해 독립적으로 이용 가능하며, 오픈소스로 제공되므로, 개발자들이 새로운 기능을 추가, 확장하거나 고도화가 가능함
- 국내외 표준을 준용하는 데이터맵의 상호운용 기능을 제공하므로 다양한 산업분야의 데이터를 수집하고 공유, 활용하는 데이터 허브로 구축하여 활용 가능
- 각 분야 여러 사용자들 간의 데이터, 알고리즘, 분석 서비스 등의 축적, 공유, 재사용을 지원하는 플랫폼으로서 빅데이터 활용 확산에 기여할 것으로 기대됨