주요 글로벌 공개 LLM 학습을 IR 기반으로 분석하여 워크로드 특성과 컴퓨팅 및 스토리지 자원의 특성에 맞춰 자동으로 스케줄링 및 병렬화
- 학습 모델을 Pytorch IR(fx IR)로 변환하여 학습 워크로드 특성을 분석 도출
- 분석된 워크로드 특성을 활용하여 컴퓨팅 인프라 및 스토리지 자원 규모, 특성을 고려한 배치, 병렬화, 최적화
하이퍼 인프라(예: DGX)에 대한 의존성 심화되어 AI 서비스의 사업성이 저하되고 인프라 보유 역량이 곧 진입장벽화 심화
- LLM 모델과 컴퓨팅 인프라에 대한 종속성 없이 이종 컴퓨팅 자원 효율을 향상시킬수 있는 기술 필요
하이퍼 인프라(A100, NVLink) 뿐 만 아니라, 범용 인프라(A40, PCIe 등) 효율적 학습 스케줄링 제공
- 모델 전문가를 통한 수동 분석 및 최적화 부담 없이 SW를 통해 자동 분석하여 컴퓨팅 인프라에 맞는 자동 분석, 배치, 최적화 가능
- 주요 글로벌 공개 LLM과의 호환성 확보 (Bert, GPT2, GPT-Neo, GPT-J, OPT, Llama2/3, Electra, Whisper, VIT)
o 주요 글로벌 공개 LLM 학습 모델을 IR 기반으로 자동 분석하고, 이에 기반하여 학습에 활용될 컴퓨팅 및 스토리지 자원의 현황 및 특성에 맞춰 자동으로 배치, 스케줄링, 병렬화, 최적화 하는 기술
- 학습 모델을 Pytorch IR(fx IR)로 변환하여 LLM 워크로드 특성을 분석 도출하는 IR 기반 LLM 분석기 SW 모듈
- 분석된 LLM 워크로드 특성을 활용하여 컴퓨팅 및 스토리지 인프라 자원의 수량, 구조, 특성을 고려하여 분할, 배치, 병렬화, 최적화하는 IR 기반 LLM 학습 재구성 SW 모듈
o LLM 분석 및 재구성 기술
- 프로그램: 고효율 병렬학습 프레임워크SW 3.0 (BSD 3 Clause)
- 특허: 등록 특허 1건 (US12314201)
- 기술자료: SW 설계서, 시험결과서 등 5건
- (산업계/학계/연구소) 데이터센터 인프라(GPU/SSD) 효율적 활용을 통한 TCO(도입, 운영 비용) 절감 및 인프라 운영 경쟁력 향상
- (제품화) 학습 효율화 SW와 선탑재를 통해 단순 HW 위주 서버/스토리지 어플라이언스 대비 고부가 고효율 학습 어플라이언스로 제품화