ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

High efficient memory expansion for massive AI applications

Manager
Koh Kwang-Won
Participants
Koh Kwang-Won, Kim Kang Ho, Changdae Kim, Kim Taehoon, Eunji Pak, Jeong Yeon Jeong, Seung-Jun Cha
Transaction Count
1
Year
2024
Project Code
24HS5800, Research on High-efficiency Analog AI Computing for Large-scale DNN Models, Kim Kang Ho
23ZS1300, Research on High Performance Computing Technology to overcome limitations of AI processing, Kim Kang Ho
23HS6900, Research on High-efficiency Analog AI Computing for Large-scale DNN Models, Kim Kang Ho
22ZS1300, Research on High Performance Computing Technology to overcome limitations of AI processing, Kim Kang Ho
20ZS1300, Research on High Performance Computing Technology to overcome limitations of AI processing, Kim Kang Ho
19ZS1200, Research on Foundation Technology of IDX Platform, Kim Kang Ho
18HS1600, The Core Technology Development of The Next Generation Memory Based Ultra-Low Power Computing System and Petabyte Memory Cloud, Yongjoo Kim
17HS2500, The Core Technology Development of The Next Generation Memory Based Ultra-Low Power Computing System and Petabyte Memory Cloud, Yongjoo Kim
본 이전 기술은 2024년 최근 등장하고 있는 Compute eXpress Link (CXL) 기반 메모리 확장 장치를 효과적으로 활용하기 위한 기술로 서버내의 DRAM과 CXL메모리를 통합하여 가상머신이 시스템 내의 이종 메모리를 효과적으로 사용하기 위한 기술임
본 이전 기술은 클라우드의 IaaS 서비스에서 사용되는 빌딩 블록인 가상머신 내의 응용 프로그램 및 운영체제 커널의 동작을 가상머신모니터 수준에서 모니터링하여 성능에 민감한 데이터를 서버 내 DRAM에 위치시키고, 그 외의 데이터는 CXL 메모리에 배치함으로써 기존 시스템에 비해 대용량 메모리를 제공하면서 성능 저하를 최소화하는 기술임
본 이전기술은 DRAM과 CXL메모리를 활용하여 시스템을 구성하고, 응용 및 커널 프로그램의 메모리 접근을 관리하여 DRAM에서 처리 되는 접근을 높이도록 동작하며 이를 통해 CXL메모리를 활용하는 응용을 사용하는 사용자가 겪게 되는 성능 변이를 최소화함
본 이전기술을 통한 고효율 메모리 확장 시스템을 사용하기 위해서 가상머신 내 동작하는 응용 프로그램과 운영체제 커널을 수정할 필요가 없으나, 가상머신 내 응용프로그램 혹은 운영체제의 기능확장을 통해 가상머신모니터와의 통신에 기반하여 보다 효과적으로 DRAM 관리를 지원함
- 기존의 컴퓨팅 시스템이 고려하지 않았던 이종 메모리를 하나의 시스템에 통합하여 생기는 비효율성을 극복하여 DRAM과 CXL메모리를 관리하여 가상머신이 이종 메모리를 사용하여 발생하는 성능을 모니터링하고 관리하기 위한 고효율 메모리 확장 시스템이 요구됨
- 고효율 메모리 확장은 DRAM과 CXL메모리를 활용하여 대용량의 메모리를 활용함과 동시에 속도저하를 관리하기 위한 기능을 제공
- 리눅스 커널을 가상머신모니터로 사용하는 KVM 수준에서 구현되고, 리눅스 커널을 수정없이 사용이 가능하며, CXL메모리를 통합한 리눅스 기반 시스템에 배포가 가능함
1. 고효율 메모리 확장 기술
· 관련특허: PR20170610KRa, PR20191085KR
· DRAM / CXL메모리 관리
· 고속 주소 공간 관리 기능
· CXL메모리 접근 모니터링/관리 기능
· 블록/서브블록 기반 주소공간 최적 메터데이터 관리 기능
· 가상 머신 메모리 최적화를 위한 가상 머신 도구 지원
· 호스트 운영체제 (RHEL 9.2) 지원
· CXL메모리 활용 가상머신 저장 및 복구 기능
· 패키지 관리 편이 기능 지원 (관련 모듈 포함 및 쉬운 설치 도구 지원)
· 성능 모니터링 Tool
2. CXL메모리 할당 기술
· CXL메모리로부터의 메모리 할당 및 메모리 확장 관리자로의 접근 제공
· 핵심 기술 특허 실시권
· 고효율 메모리 확장 관리기 소스 코드
· CXL메모리 할당 관리기 소스 코드
· 기술 관련 설계서, 요구사항정의서 및 시험문서
- 클라우드 인스턴스: amazon, microsoft 등은 이미 20TB 이상의 메모리를 제공하는 대용량 가상머신 인스턴스 서비스하고 있음
- 인공지능: CXL메모리를 활용하여 AI모델의 학습과 추론을 사용되는 응용이 대용량 메모리를 활용할 수 있음
- 인-메모리 데이터베이스: SAP Hana 등 최근 인-메모리 데이터베이스의 대형화는 대용량 메모리를 요구하고 있음
- 대용량 데이터 분석: Apache spark 기반 대용량 데이터 분석시 높은 비용효율성을 제공할 수 있으며, IoT 센서 데이터 분석 등에도 대용량 메모리가 사용됨
- 데이터 캐싱 서비스: Redis, memcached와 같은 캐싱서비스의 대용량 서비스 제공 가능