ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

거대 AI 응용 실행을 위한 고효율 메모리 확장 기술

전수책임자
고광원
참여자
고광원, 김강호, 김창대, 김태훈, 박은지, 정연정, 차승준
기술이전수
1
이전연도
2024
협약과제
17HS2500, 차세대 메모리 기술 기반 초저전력 컴퓨팅 시스템과 페타바이트급 메모리 클라우드 핵심 기술 개발, 김용주
18HS1600, 차세대 메모리 기술 기반 초저전력 컴퓨팅 시스템과 페타바이트급 메모리 클라우드 핵심 기술 개발, 김용주
19ZS1200, IDX 플랫폼 원천기술 연구, 김강호
20ZS1300, 인공지능 처리성능 한계를 극복하는 고성능 컴퓨팅 기술 연구, 김강호
22ZS1300, 인공지능 처리성능 한계를 극복하는 고성능 컴퓨팅 기술 연구, 김강호
23HS6900, 초거대 모델 기반 인공지능을 실현하는 고효율 아날로그 AI 컴퓨팅 기술 개발, 김강호
23ZS1300, 인공지능 처리성능 한계를 극복하는 고성능 컴퓨팅 기술 연구, 김강호
24HS5800, 초거대 모델 기반 인공지능을 실현하는 고효율 아날로그 AI 컴퓨팅 기술 개발, 김강호
본 이전 기술은 2024년 최근 등장하고 있는 Compute eXpress Link (CXL) 기반 메모리 확장 장치를 효과적으로 활용하기 위한 기술로 서버내의 DRAM과 CXL메모리를 통합하여 가상머신이 시스템 내의 이종 메모리를 효과적으로 사용하기 위한 기술임
본 이전 기술은 클라우드의 IaaS 서비스에서 사용되는 빌딩 블록인 가상머신 내의 응용 프로그램 및 운영체제 커널의 동작을 가상머신모니터 수준에서 모니터링하여 성능에 민감한 데이터를 서버 내 DRAM에 위치시키고, 그 외의 데이터는 CXL 메모리에 배치함으로써 기존 시스템에 비해 대용량 메모리를 제공하면서 성능 저하를 최소화하는 기술임
본 이전기술은 DRAM과 CXL메모리를 활용하여 시스템을 구성하고, 응용 및 커널 프로그램의 메모리 접근을 관리하여 DRAM에서 처리 되는 접근을 높이도록 동작하며 이를 통해 CXL메모리를 활용하는 응용을 사용하는 사용자가 겪게 되는 성능 변이를 최소화함
본 이전기술을 통한 고효율 메모리 확장 시스템을 사용하기 위해서 가상머신 내 동작하는 응용 프로그램과 운영체제 커널을 수정할 필요가 없으나, 가상머신 내 응용프로그램 혹은 운영체제의 기능확장을 통해 가상머신모니터와의 통신에 기반하여 보다 효과적으로 DRAM 관리를 지원함
- 기존의 컴퓨팅 시스템이 고려하지 않았던 이종 메모리를 하나의 시스템에 통합하여 생기는 비효율성을 극복하여 DRAM과 CXL메모리를 관리하여 가상머신이 이종 메모리를 사용하여 발생하는 성능을 모니터링하고 관리하기 위한 고효율 메모리 확장 시스템이 요구됨
- 고효율 메모리 확장은 DRAM과 CXL메모리를 활용하여 대용량의 메모리를 활용함과 동시에 속도저하를 관리하기 위한 기능을 제공
- 리눅스 커널을 가상머신모니터로 사용하는 KVM 수준에서 구현되고, 리눅스 커널을 수정없이 사용이 가능하며, CXL메모리를 통합한 리눅스 기반 시스템에 배포가 가능함
1. 고효율 메모리 확장 기술
· 관련특허: PR20170610KRa, PR20191085KR
· DRAM / CXL메모리 관리
· 고속 주소 공간 관리 기능
· CXL메모리 접근 모니터링/관리 기능
· 블록/서브블록 기반 주소공간 최적 메터데이터 관리 기능
· 가상 머신 메모리 최적화를 위한 가상 머신 도구 지원
· 호스트 운영체제 (RHEL 9.2) 지원
· CXL메모리 활용 가상머신 저장 및 복구 기능
· 패키지 관리 편이 기능 지원 (관련 모듈 포함 및 쉬운 설치 도구 지원)
· 성능 모니터링 Tool
2. CXL메모리 할당 기술
· CXL메모리로부터의 메모리 할당 및 메모리 확장 관리자로의 접근 제공
· 핵심 기술 특허 실시권
· 고효율 메모리 확장 관리기 소스 코드
· CXL메모리 할당 관리기 소스 코드
· 기술 관련 설계서, 요구사항정의서 및 시험문서
- 클라우드 인스턴스: amazon, microsoft 등은 이미 20TB 이상의 메모리를 제공하는 대용량 가상머신 인스턴스 서비스하고 있음
- 인공지능: CXL메모리를 활용하여 AI모델의 학습과 추론을 사용되는 응용이 대용량 메모리를 활용할 수 있음
- 인-메모리 데이터베이스: SAP Hana 등 최근 인-메모리 데이터베이스의 대형화는 대용량 메모리를 요구하고 있음
- 대용량 데이터 분석: Apache spark 기반 대용량 데이터 분석시 높은 비용효율성을 제공할 수 있으며, IoT 센서 데이터 분석 등에도 대용량 메모리가 사용됨
- 데이터 캐싱 서비스: Redis, memcached와 같은 캐싱서비스의 대용량 서비스 제공 가능