BROWSE
Detail
Journal Article
엣지 딥 러닝 가속기의 추론 성능 분석
- Issue Date
- 2024-01
- Citation
- 전자공학회논문지, v.61, no.1, pp.23-26
- ISSN
- 2287-5026
- Publisher
- 대한전자공학회
- Language
- Korean
- Type
- Journal Article
- Abstract
- 엣지 장치에서 딥 러닝 기반 추론을 위해 추론 가속기가 탑재되고 있다. 딥 러닝 추론 가속기를 통해 연산 성능과 에너지 효율을 증가시킬 수 있다. 하지만 가속기에 최적화되지 않은 모델 구조와 설정을 사용하면 메모리 접근 등의 오버헤드로 인해 최적 성능을 낼 수 없다. 본 논문에서는 사전 학습된 MobileNet v2, ResNet50 v1 모델을 사용해 NVIDIA Jetson에서 Graphic Processing Unit (GPU)와 Deep Learning Accelerator (DLA)의 추론 성능을 분석하였다. 실험을 통해 DLA에 최적화되지 않은 모델을 실행하면 GPU보다 최대 5.1배 추론 시간이 증가함을 보였다. 특히, 프로파일링을 통해 DLA에서 지원하지 않는 연산을 GPU로 폴백 (fallback)하는 과정의 오버헤드로 추론 시간이 증가함을 보였다.
- KSP Keywords
- Graphic processing unit(GPU), deep learning(DL)
This work is distributed under the term of Creative Commons License (CCL)
(CC BY NC)
(CC BY NC)
