본 기술인 '개방형 AI 가속기 실행코드 자동최적화 기술'은 AI 가속기 상에서 AI 연산 실행시 필요한 실행코드를 컴파일러를 통해 자동으로 최적화하기 위한 작업 생성기, 코드 튜너, 실행 엔진을 포함한다.
- '개방형 AI 가속기 실행코드 자동최적화 기술'은 NPU 등 AI 가속기의 효율적인 활용을 위해 인공지능 모델 실행 시 발생하는 성능 병목 지점을 자동으로 분석하고 최적화하는 과정을 지원한다. 본 기술은 HW에서 수집된 실행 데이터를 실시간으로 모니터링하며, 성능 분석 결과에 따라 최적화된 코드 인터페이스를 제공한다. 머신러닝 모델을 통한 성능 모델링으로 개발자가 최소한의 수작업으로 최적화된 실행코드를 생성할 수 있도록 지원하여 개발 효율성을 극대화한다.
다양한 머신러닝 기술을 모듈형으로 사용할 수 있어, AI 가속기와 AI 모델에 따라 최적의 성능 모델링이 가능함
모든 과정이 자동으로 이루어지기 때문에, 사용자가 개입할 필요가 없음
시간이나 컴퓨팅 리소스 설정을 통해 제한된 환경에서 최적의 결과를 출력하고 종료함
기술명 : 개방형 AI 가속기 실행코드 자동최적화 기술
- 교환 가능한 모듈형 머신러닝 모델링 기술 기능
- 자동화된 튜닝 프로세스
- 시간이나 컴퓨팅 리소스 설정을 통해 제한된 환경에서 최적화 가능
기술명 : 개방형 AI 가속기 실행코드 자동최적화 기술
- 요구사항 정의서
- 시험 절차서 및 결과서
- 소스코드
- 기술 문서: 3종
적용분야 : AI 가속기 개발 및 AI 가속기에서 구동할 AI 모델 개발 시 활용가능.
기대효과 : 향상된 성능과 호환성으로 개발자는 빠르게 최적의 실행코드를 생성할 수 있고, AI 서비스를 배치하기 전에 1회 수행함으로인해 최적화가 가능함.