본 기술이전은 응용 장비들로부터의 정보, SNS/포털사이트 등에서의 정보, 공공기관에서 제공하는 정보 등 빅데이터의 수집 기능과 수집된 정보의 전처리, 전처리 정보의 저장 및 조회,전달을 자율적으로 제어하는 기술에 관한 것이다.
－ 목적
● 다양한 데이터 특성에 따라 하둡 생태계에 기반한 데이터를 수집하며, 실시간 검색이 용이한 웹 기반 접근 제공
● 다양한 빅데이터, 센서 데이터, 시스템 데이터, 로그, SNS, 공공 데이터 등을 동시에 수집하며, 수집 종류에 무관하게 일괄되게 데이터를 정제화 할 수 있는 전 처리 제공
●
－ 필요성
● 정형, 비정형의 대규모 빅데이터를 통해 의미 있는 가치를 부여하는 빅데이터 (big data) 기술에 대한 관심이 높아짐
● 데이터 수집은 빅데이터 기술 중 하나로써 다양한 데이터 특성에 따라 하둡 생태계에 기반한 데이터 수집 방법이 필요
● 수집된 정보를 의도한대로 수집되었는지의 실시간 검색이 용이한 환경 필요
● 하둡 분산 저장을 위하여 수집된 정보 내용 및 그 정보 내용을 기반으로 어떠한 결과를 도출해야 하는가는 요구되는 응용에 따라 수집 정보를 정제화 할 수 있는 전 처리가 우선적으로 필요
● 센서 데이터, 시스템 데이터, 로그, SNS, 공공 데이터 등 수집하는 정보의 종류에 무관하게 일괄된 데이터 정제가 요구됨
- 다양한 데이터 특성에 따라 하둡 생태계에 기반한 데이터 수집, 실시간 검색이 용이한 웹 기반 접근 제공
- 다양한 빅데이터, 센서 데이터, 시스템 데이터, 로그, SNS, 공공 데이터 등을 동시에 수집하며, 수집 종류에 무관하게 일괄되게 데이터를 정제화 할 수 있는 전 처리 제공
- Hadoop 2.0 based web server 제공
A. 빅데이터 수집, 저장 기술
● 빅데이터 수집 API 처리 기능
● Flume 2.0 기반 데이터 수집 agent, Flume-NG collector 기능
● Hadoop 2.0 기반 빅데이터 저장 기능
● web server 기반 저장 공간 생성/파일 저장/조회/삭제 기능
● web server 기반 파일 내용 조회 기능
B. 빅데이터 전처리 기술
● 빅데이터 수집 SW을 통한 빅데이터 전달 기능
● 수집 되는 빅데이터를 전처리 하며 이를 동적 분석을 위해 분석 모듈로 전달하는 기술
C. 소셜 데이터 동적처리 기술
● 모니터링 툴의 CRAWL 검색 키워드 추가/삭제기능
● 수집된 소셜 정보 동적 검색 기능
A. 빅데이터 수집, 저장 기술
● 웹브라우저 접속 및 저장 공간 정보 조회
● 빅데이터 저장 공간 생성/저장/조회/삭제 기능
B. 빅데이터 전처리 기술
● 수집 되는 빅데이터를 전처리
● 빅데이터 수집 SW을 통한 빅데이터 전달 기능
C. 소셜 데이터 동적처리 기술
● 소셜 정보 검색을 위한 검색어 동적 추가/삭제 기능
● 수집된 소셜 정보 동적 검색 기능
－ 각종 센서 등 IoT 장비에서 생성되는 빅데이터의 실시간 수집이 요구되는 서비스
● 예) 농식품의 안전한 유통을 위해 각 현장에 설치된 센서 단말, 유통과정에서의 센서 단말들, 즉 사물들의 인터넷 연결을 식별, 센서 단말의 정보를 얻기 위한 사물통신을 통해 획득한 위해인자 검출 결과정보 기반의 실시간 이벤트 정보처리 및 지속적인 사물 정보 모니터링을 위한 서비스
－ 소셜 빅데이터 수집을 통한 상황, 예측, 추적 등의 다양한 형태의 응용 서비스
● 트위터, 페이스북 등 SNS 데이터, 포털 사이트의 검색어와 같은 소셜 데이터를 실시간 동적 키워드 검색을 통해 빅데이터 수집 및 정보 확인, 분석을 위한 정보 전달
－ 웹기반 실시간 통합 빅데이터 클러스터 및 수집 현황 서비스
● 웹기반의 빅데이터 클러스터 (시스템 상황, Name/Data node 상태, 자원상태) 및 다양한 수집 정보인 환경정보, SNS 정보, 공공 정보 등 과 결과 정보를 하나의 통합 웹 서버를 통해 현황 파악