ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

가변블록관리 기반 2-계층 메모리 시스템 기술 v2

전수책임자
김강호
참여자
고광원, 김강호, 김영균, 김창대, 김태훈
기술이전수
1
이전연도
2021
협약과제
17HS2500, 차세대 메모리 기술 기반 초저전력 컴퓨팅 시스템과 페타바이트급 메모리 클라우드 핵심 기술 개발, 김용주
18HS1600, 차세대 메모리 기술 기반 초저전력 컴퓨팅 시스템과 페타바이트급 메모리 클라우드 핵심 기술 개발, 김용주
18ZS1200, IDX 플랫폼 원천기술 연구, 김영균
19ZS1200, IDX 플랫폼 원천기술 연구, 김강호
20ZS1300, 인공지능 처리성능 한계를 극복하는 고성능 컴퓨팅 기술 연구, 김강호
21ZS1300, 인공지능 처리성능 한계를 극복하는 고성능 컴퓨팅 기술 연구, 김강호
본 이전 기술은 현재의 컴퓨팅 환경에서 메모리 자원에 대한 유휴 시간이 많다는 점과 차세대 메모리 등 고집적 메모리가 등장하고 있다는 점을 활용하여, 유휴 메모리나 고집적메모리를 서버 내 DRAM과 통합하여 관리함으로써 가상머신에게 대용량 메모리 환경을 제공하는 2-계층 메모리 관리 기술임
본 이전기술은 가상머신 내의 응용 프로그램 및 운영체제 커널의 동작을 실시간으로 모니터링하여 성능에 민감한 데이터는 서버 내 DRAM에 위치시키고, 그 외 데이터는 원격노드의 유휴 메모리, 고성능 SSD 등에 위치시킴으로 DRAM 만을 포함하는 기존 시스템 대비 대용량 메모리를 제공하면서 그에 따른 성능 저하를 최소화하는 기술임
본 이전기술은 서로 다른 미디어를 활용해 2-계층 메모리를 구성하지만, 응용 및 커널 프로그램의 메모리 접근을 잘 관리하여 1-계층의 메모리에서 처리 되는 비중을 최대화시키고, 2-계층 메모리 사용시 사용자가 겪게 되는 응용 성능 변이를 최소화함
본 이전기술을 통한 2-계층 메모리 시스템을 사용하기 위해서 응용 프로그램과 운영체제 커널을 수정할 필요가 없으며, 본 이전 기술에 포함된 성능 모니터링을 통해 2-계층 메모리 사용으로 인한 성능의 영향을 확인하고 이에 대응할 수 있는 기능을 제공함
본 이전기술을 통한 2-계층 메모리 시스템은 원격 DRAM과 고성능SSD 등에 대한 접근을 보다 효과적으로 수행하기 위해서 데이터 이동 단위를 관리할 수 있고, 효율적인 데이터 접근을 수행하며, 대용량 메모리 가상머신을 생성함에 있어서 효율적인 2-계층 메모리 관리를 수행하고, 2-계층 메모리 기반 가상머신의 저장/복구의 기능을 제공함
- 최근 대용량 데이터 처리, 인-메모리 데이터베이스, 응용 및 웹 캐싱, 키-밸류 저장소, 유전체 분석, IoT 센서 데이터 처리 등 대용량 데이터로부터 의미 있는 데이터를 추출하기 위해서 많은 연구가 수행되고 있으나, 각 시스템 단위의 가용한 메모리 용량 한계 때문에, 데이터 분석을 다수의 노드로 분할하여 실행하거나 반복해서 실행해야 하는 비효율성이 있음
- 기존 컴퓨팅 노드에서 동작하는 응용프로그램이 사용할 수 있는 메모리는 노드 내에 물리적으로 설치되어 있는 DRAM에 한정되기 때문에, 다수의 노드에 유휴 DRAM이 있더라도 다른 노드에서 사용할 수 없기 때문에 전체 메모리 사용 효율이 떨어짐
- 기존의 DRAM 기반 컴퓨팅 시스템은 시스템에 장착 가능한 DRAM 용량이 한정되어 있으나, 응용의 메모리 요구량은 계속해서 증가하기 때문에 시스템의 사용 주기가 짧아지는 문제점이 있음
- 본 기술은 데이터센터 내 서버 등에서 기존의 1-계층 메모리 구조와 달리, RDMA 지원 연결망으로 연결된 노드의 유휴 DRAM이나 고성능 인터커넥트로 연결된 고성능 블록장치를 이용한 2-계층 메모리를 구성하여, 서버 내의 가용 메모리 크기를 동적으로 증가 혹은 감소시키고 이에 따른 성능을 모니터링/관리하는 2-계층 메모리 관리 시스템을 제공하는 것이 목적임
- 2-계층의 분리 메모리 시스템을 사용하는 가상머신의 저장/복구를 지원함으로써 클라우드 컴퓨팅 인프라에서 시스템 유지/보수 등에 대응하여 사용가능함
- 2-계층 메모리 관리 시스템 (1계층: 지역 DRAM, 2계층: 원격DRAM/고성능SSD) 지원
- 고속 주소공간 관리 기능을 통해 다수의 가상CPU가 원격 메모리 지원을 수행
- 지역 DRAM에 대한 관리를 통해서 성능-민감 데이터를 지역 DRAM에 위치 시킴으로 높은 성능 제공
- 대용량 메모리 가상머신 지원 및 서브블록 기반의 효율적인 2계층 메모리 접근 제공
- 원격 메모리 접근 모니터링 및 가상 운영체제 (Linux 기반)를 위한 Guest 도구 지원
A. 기술명 : 가변블록관리 기반 2-계층 (2-Tier) 메모리 시스템 기술 v2
1. 2-계층 메모리 관리기 기술 v2
. 관련특허: PR20170842KRa, PR20170610KRa, PR20170842US, PR20191085KR, PR20201049KR
. 지역 DRAM 관리
. 고속 주소 공간 관리 기능
. 2-계층 메모리 접근에 따른 성능 모니터링/관리 기능
. 2-계층 메모리 접근 모니터링/관리 기능
. 서브블록 기반 주소공간 최적 메터데이터 관리 기능
. 서브블록/가변블록관리 기반 2-계층 메모리 관리 기능
. 병렬 메모리 노드 커넥션 기반 가상 머신 생성 최적화 기능
. 가상 머신 메모리 최적화를 위한 가상 머신 도구 지원
. Host 운영체제 (CentOS 8.3/Stream) 지원
. 저지연 원격 메모리 적재 / 고성능 원격 메모리 저장 기능 기원
2. 가상머신 주소공간 관리기 기술 v2
. 가상머신 2-계층 메모리 접근 관리 기능
. 원격 메모리(DRAM) 접근 제어 기능
. 고성능 SSD (HPSSD) 접근 제어 기능
. 2-계층 메모리 활용 가상머신 저장 및 복구 기능
. 패키지 관리 편이 기능 지원 (관련 모듈 포함 및 쉬운 설치 도구 지원)
3. 원격 메모리 관리기 기술 v2
. 메모리 노드로부터의 메모리 할당 및 원격 메모리 접근 기능 지원
. 동일 노드 내 멀티 원격 메모리 관리기 관리 기능
A. 기술명 : 가변블록관리 기반 2-계층 메모리 시스템 기술 v2
- 핵심 기술 특허 실시권
- 2-계층 메모리 관리기 2.0 소스 코드
- 가상머신 주소공간 관리기 기술 2.0 소스 코드
- 원격 메모리 관리기 2.0 소스 코드
- 기술 관련 설계서, 요구사항정의서 및 시험문서
- 대용량 클라우드 인스턴스: amazon, microsoft 등은 이미 20TB 이상의 메모리를 제공하는 가상머신 인스턴스 서비스를 제공하고 있음
- On-Premises: Intel, Western-Digital 등 고성능 SSD 제조사는 이미 메모리 확장 기능을 통합한 제품을 출시하기 시작하였음
- 대용량 인-메모리 데이터베이스: SAP Hana 등 최근 인-메모리 데이터베이스의 대형화는 대용량 메모리를 요구하고 있음
- 대용량 데이터 분석: Apache spark 기반 대용량 데이터 분석시 높은 비용효율성을 제공할 수 있으며, IoT 센서 데이터 분석 등에도 대용량 메모리가 사용됨
- 키-밸류 저장소: Redis, memcached와 같은 캐싱서비스의 대용량 서비스 제공 가능
- 스마트 계층 관리 시스템: 차세대 메모리 인터커넥트(예. CXL) 기반 차세대 메모리를 위한 스마트 메모리 관리 제공