ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

벡터처리 기반 관계 연산자 가속화 기술

전수책임자
김창수
참여자
김창수, 남택용, 박춘서, 이명철, 이미영, 이태휘, 이훈순, 장미영, 허성진
기술이전수
1
이전연도
2017
협약과제
16MS6400, 대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발, 김창수
본 기술은 벡터 처리를 활용한 관계 연산(자)를 가속화하는 SW 기술이다.
본 기술은 데이터베이스 관리 시스템(DataBase Management System, 이하 DBMS)의 질의 처리에 적용 가능하다.
본 기술을 최적으로 활용하기 위해서는 DBMS의 특성에 따라 추가적인 개발 또는 적용 보완이 필요하며, 본 기술 이전 대상 SW는 DBMS 엔진 내부에서 열기반으로 데이터가 저장되어 있음을 가정하고 개발되었으며, 열기반 DBMS인 MonetDB(Mozilla Public License 2.0)에 최적화되어 있다.
본 기술은 DBMS에서 질의 처리 시간의 많은 부분을 차지하는 정렬 연산, 그룹 연산, 조인 연산에 대한 내용으로만 구성되어 있으나 기술의 내용을 파악하게 되면 다른 연산들로 확장하여 적용할 수 있다.
- 최근 빅데이터 분석 수요는 지속적으로 확대되고 있으며, 분석 대상 데이터의 크기도 지속 성장하고 있는 상황임.
- 빅데이터 분석에 기반한 의사결정을 통해 비즈니스 성공 확률을 높이고자 하는 욕구가 높아지고 있는 점과 관련하여 빅데이터 분석 성능의 향상은 실시간 기업환경에서 필수적인 기술이 되어가고 있음
- 빅데이터 분석 성능 향상을 위해서는 데이터 저장 구조의 칼럼화, 벡터처리 기반 데이터 분석 등의 기술이 요구됨.
- 본 기술이전은 칼럼 구조의 데이터 저장소를 기반으로 벡터처리를 수행하여 빅데이터 분석 성능을 향상시키는 것을 목적으로 함.
- 벡터처리를 활용한 칼럼 구조 빅데이터 분석의 가속을 통한 성능 향상
O 벡터처리기반 관계 연산자 가속화 기술
- 벡터처리 기반 정렬 연산
- 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
- 벡터처리 기반 병합 조인 연산

기술명 : 벡터처리기반 관계 연산자 가속화 기술
O 동작 환경
- 지원 하드웨어 모델 : 인텔 Haswell 마이크로아키텍처 이후 CPU 기반의 서버
- 지원 운영체제 : 256bit 레지스터를 지원하는 리눅스 커널 2.6.30 이상(예, 우분투 16.04 LTS)
- 활용 공개 SW : MonetDB, gcc 4.7 이상(AVX2 지원)
O 기능
- 벡터처리 기반 정렬 연산
- 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
- 벡터처리 기반 병합 조인 연산
? 본 기술은 빅데이터 플랫폼에서 칼럼 구조를 지닌 데이터에 대해 벡터 처리를 수행하는 기술로 성능향상을 통한 고성능 빅데이터 플랫폼 기술로 활용 가능
- 본 기술은 트랜잭션처리와 분석을 동시에 수행하는 일체형 플랫폼에서 분석 성능 향상을 위한 기반 기술로 활용 가능
- 본 기술의 주요 수요처는 칼럼구조를 기반으로 하는 다양한 빅데이터 플랫폼 개발/공급업체 및 빅데이터 분석을 통한 통찰력을 얻고자 하는 공공/민간의 다양한 산업분야에 활용할 수 있음
. 금융 산업
. 유통 산업
. 통신 산업
. 교통/물류 산업
. 제조업 등
- 본 기술의 상용화 시, 고성능 분석 플랫폼을 통해 빅데이터 관련 제품의 경쟁력 향상에 기여할 것으로 기대됨
- 분석 응용에 적용 시, 분석 성능의 향상으로 보다 경쟁력 있는 의사결정이 기대됨