ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Vector Processing based Relational Operator Acceleration Technology

Manager
Chang Soo Kim
Participants
Chang Soo Kim, Nam Taek Yong, Park Choon Seo, Myungcheol Lee, Lee Mi Young, Lee Taewhi, Lee Hun Soon, Jang Miyoung, Hur Sung Jin
Transaction Count
1
Year
2017
Project Code
16MS6400, Development of an Unified Data Engineering Technology for Large-scale Transaction Processing and Real-time Complex Analytics, Chang Soo Kim
본 기술은 벡터 처리를 활용한 관계 연산(자)를 가속화하는 SW 기술이다.
본 기술은 데이터베이스 관리 시스템(DataBase Management System, 이하 DBMS)의 질의 처리에 적용 가능하다.
본 기술을 최적으로 활용하기 위해서는 DBMS의 특성에 따라 추가적인 개발 또는 적용 보완이 필요하며, 본 기술 이전 대상 SW는 DBMS 엔진 내부에서 열기반으로 데이터가 저장되어 있음을 가정하고 개발되었으며, 열기반 DBMS인 MonetDB(Mozilla Public License 2.0)에 최적화되어 있다.
본 기술은 DBMS에서 질의 처리 시간의 많은 부분을 차지하는 정렬 연산, 그룹 연산, 조인 연산에 대한 내용으로만 구성되어 있으나 기술의 내용을 파악하게 되면 다른 연산들로 확장하여 적용할 수 있다.
- 최근 빅데이터 분석 수요는 지속적으로 확대되고 있으며, 분석 대상 데이터의 크기도 지속 성장하고 있는 상황임.
- 빅데이터 분석에 기반한 의사결정을 통해 비즈니스 성공 확률을 높이고자 하는 욕구가 높아지고 있는 점과 관련하여 빅데이터 분석 성능의 향상은 실시간 기업환경에서 필수적인 기술이 되어가고 있음
- 빅데이터 분석 성능 향상을 위해서는 데이터 저장 구조의 칼럼화, 벡터처리 기반 데이터 분석 등의 기술이 요구됨.
- 본 기술이전은 칼럼 구조의 데이터 저장소를 기반으로 벡터처리를 수행하여 빅데이터 분석 성능을 향상시키는 것을 목적으로 함.
- 벡터처리를 활용한 칼럼 구조 빅데이터 분석의 가속을 통한 성능 향상
O 벡터처리기반 관계 연산자 가속화 기술
- 벡터처리 기반 정렬 연산
- 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
- 벡터처리 기반 병합 조인 연산

기술명 : 벡터처리기반 관계 연산자 가속화 기술
O 동작 환경
- 지원 하드웨어 모델 : 인텔 Haswell 마이크로아키텍처 이후 CPU 기반의 서버
- 지원 운영체제 : 256bit 레지스터를 지원하는 리눅스 커널 2.6.30 이상(예, 우분투 16.04 LTS)
- 활용 공개 SW : MonetDB, gcc 4.7 이상(AVX2 지원)
O 기능
- 벡터처리 기반 정렬 연산
- 벡터처리 기반 정렬된 데이터에 대한 그룹 연산
- 벡터처리 기반 병합 조인 연산
? 본 기술은 빅데이터 플랫폼에서 칼럼 구조를 지닌 데이터에 대해 벡터 처리를 수행하는 기술로 성능향상을 통한 고성능 빅데이터 플랫폼 기술로 활용 가능
- 본 기술은 트랜잭션처리와 분석을 동시에 수행하는 일체형 플랫폼에서 분석 성능 향상을 위한 기반 기술로 활용 가능
- 본 기술의 주요 수요처는 칼럼구조를 기반으로 하는 다양한 빅데이터 플랫폼 개발/공급업체 및 빅데이터 분석을 통한 통찰력을 얻고자 하는 공공/민간의 다양한 산업분야에 활용할 수 있음
. 금융 산업
. 유통 산업
. 통신 산업
. 교통/물류 산업
. 제조업 등
- 본 기술의 상용화 시, 고성능 분석 플랫폼을 통해 빅데이터 관련 제품의 경쟁력 향상에 기여할 것으로 기대됨
- 분석 응용에 적용 시, 분석 성능의 향상으로 보다 경쟁력 있는 의사결정이 기대됨