ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

칼럼구조 DBMS에서 벡터처리 기반 관계연산자 가속화 기술 Ver.2

전수책임자
김창수
참여자
김창수, 박춘서, 이명철, 이미영, 이태휘, 이훈순, 장미영, 장미영
기술이전수
1
이전연도
2020
협약과제
16MS6400, 대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발, 김창수
17HS7600, 대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발, 김창수
18HS7700, 대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발, 김창수
19HS8200, 대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발, 김창수
- 본 기술은 칼럼구조 DBMS에서 벡터 처리를 활용한 관계 연산(자)를 가속화하는 SW 기술이다.
- 본 기술은 칼럼구조 데이터베이스 관리시스템(DataBase Management System, 이하 DBMS)의 질의 처리에 적용 가능하다.
- 본 기술을 최적으로 활용하기 위해서는 DBMS의 특성에 따라 추가적인 개발 또는 적용 보완이 필요하며, 본 기술이전 대상 SW는 DBMS 엔진 내부에서 칼럼 기반으로 데이터가 저장되어 있음을 가정하고 개발되었으며, 칼럼기반 DBMS인 MonetDB(Mozilla Public License 2.0)에 최적화되어 있다.
- 본 기술은 DBMS에서 질의 처리 시간의 많은 부분을 차지하는 정렬 연산, 그룹 연산, 조인 연산 및 스캔 연산에 대한 내용으로만 구성되어 있으나 기술의 내용을 파악하게 되면 다른 연산들로 확장하여 적용할 수 있다.
- 최근 빅데이터 분석 수요는 지속적으로 확대되고 있으며, 분석 대상 데이터의 크기도 지속 성장하고 있는 상황임.
- 빅데이터 분석에 기반한 의사결정을 통해 비즈니스 성공 확률을 높이고자 하는 욕구가 높아지고 있는 점과 관련하여 빅데이터 분석 성능의 향상은 실시간 기업환경에서 필수적인 기술이 되어가고 있음
- 빅데이터 분석 성능 향상을 위해서는 데이터 저장구조의 칼럼화, 벡터처리 기반 데이터 분석 등의 기술이 요구됨.
- 본 기술이전은 칼럼 구조의 데이터 저장소를 기반으로 벡터처리를 수행하여 빅데이터 분석 성능을 향상시키는 것을 목적으로 함.
? 칼럼구조 DBMS에서 벡터처리 기반의 관계 연산자 가속화 기술
. 벡터처리 기반 정렬 연산
. 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
. 벡터처리 기반 병합 조인 연산
. 벡터처리 기반 스캔 연산
. 정렬, 그룹, 조인 연산의 최적화 기술

? 벡터 처리를 통한 칼럼구조 DBMS의 관계 연산자 수행 성능 향상
- 기술이전의 내용
. 벡터처리 기반 정렬 연산
. 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
. 벡터처리 기반 병합 조인 연산
. 벡터처리 기반 스캔 연산
. 정렬, 그룹, 조인 연산의 최적화 기술

- 기술이전의 범위
o 동작환경
- 지원 하드웨어 모델 : 인텔Haswell 마이크로아키텍처 이후CPU 기반의 서버
- 지원 운영체제 : 256bit 레지스터를 지원하는 리눅스 커널 2.6.30 이상(예, 우분투 16.04 LTS)
- 활용 공개 SW: MonetDB, gcc 4.7 이상(AVX2 지원)

o 기능
. 벡터처리 기반 정렬 연산
. 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
. 벡터처리 기반 병합 조인 연산
. 벡터처리 기반 스캔 연산
. 정렬, 그룹, 조인 연산의 최적화 기술
? 본 기술은 빅데이터 플랫폼에서 칼럼 구조를 지닌 데이터에 대해 벡터 처리를 수행하는 기술로 성능향상을 통한 고성능 빅데이터 플랫폼 기술로 활용 가능
- 본 기술은 트랜잭션처리와 분석을 동시에 수행하는 일체형 플랫폼에서 분석 성능 향상을 위한 기반 기술로 활용 가능
- 본 기술의 주요 수요처는 칼럼구조를 기반으로 하는 다양한 빅데이터 플랫폼 개발/공급업체 및 빅데이터 분석을 통한 통찰력을 얻고자 하는 공공/민간의 다양한 산업분야에 활용할 수 있음
. 금융 산업
. 유통 산업
. 통신 산업
. 교통/물류 산업

. 제조업 등
- 본 기술의 상용화 시, 고성능 분석 플랫폼을 통해 빅데이터 관련 제품의 경쟁력 향상에 기여할 것으로 기대됨
- 분석 응용에 적용 시, 분석 성능의 향상으로 보다 경쟁력 있는 의사결정이 기대됨