ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Performance Analysis Tool for Open AI Accelerator Software

Manager
Jeman Park
Participants
Kwon Yongin, Kwon Jinse, Jeman Park, Yu Misun, Lee Jemin
Transaction Count
1
Year
2024
Project Code
23HS8100, Development of Open Edge AI Semiconductor Design and SW Platform Technology, Kwon Yongin
본 기술인 ‘개방형 AI 가속기 SW를 위한 성능 분석 도구’는 개방형 AI 모델의 성능을 극대화하기 위한 AI 가속기 SW의 성능 분석 도구 및 GUI를 포함하고 있다. 여기에는 여러 프로파일링 데이터를 비교할 수 있는 프로젝트 구조, 다양한 성능 측정 요소를 표시하는 모듈, 그리고 대용량 덤프 파일 처리를 위한 부분 로딩 기능이 포함된다.
- NPU와 같은 AI 가속기 개발 시 인공지능 모델의 실행과 관련된 성능 병목 지점을 정밀하게 파악하고 최적화하는 과정이 필요하다. 본 기술은 모델의 성능을 최적화를 위한 성능 분석 도구로 HW에서 수집된 정보를 상세하게 모니터링하고 성능 요소에 따라 맞춤형 인터페이스, 대용량 파일 로드 스케줄링, 그리고 성능 분석 시각화 등의 복잡한 프로세스를 지원하여, 개발자들이 빠르게 최적화할 수 있도록 한다.
- 본 기술은 VScode와 같은 통합 개발 환경과의 호환성을 고려하여 설계되었으며, 이를 통해 사용자는 성능 분석 결과를 기반으로 코드를 직관적으로 수정할 수 있는 환경을 제공한다. 또한 널리 사용되는 Trace Event Format을 지원함으로써, 하드웨어의 성능 측정 결과를 분석 도구와 쉽게 통합하여 사용할 수 있다.
- 성능 측정치를 별도의 창에서 보여줌으로써 세분화된 성능 모니터링을 지원하여 각 하드웨어 구성 요소의 성능을 개별적으로 파악하고 최적화할 수 있도록 한다.
- 부분 로딩 기능을 통해 대용량 데이터(기가바이트 이상)를 처리할 수 있게 하여, 덤프 파일 로딩 시에도 UI의 반응성을 보장한다.
기술명 : 개방형 AI 가속기 SW를 위한 성능 분석 도구
- Trace Event Format 지원 성능 분석 기능
- 상용 통합 개발 환경 호환 성능 분석 GUI
- 대용량 데이터 처리를 위한 부분 로딩 기능
기술명 : 뉴로모픽 컴파일러 프론트엔드 기술
- 요구사항 정의서
- 시험 절차서 및 결과서
- 소스코드
- 기술 문서: 2종
적용분야 : AI 가속기 개발 및 모델 최적화를 위한 성능 분석 기술
기대효과 : 향상된 UI 반응성과 호환성으로 개발자는 빠른 성능 분석을 통해 AI 모델을 신속하게 최적화할 수 있으며, 이는 AI 가속기의 다양한 인공지능 응용이 실행되는 주요 플랫폼으로서 활용 가능