BROWSE
Detail
Conference Paper
이종 프로세서 기반 엣지 시각-언어 모델 추론 프로파일링 분석
Cited - time in 
Share 
Share
- Issue Date
- 2026-06
- Citation
- 한국통신학회 종합 학술 발표회 (하계) 2026, pp.1-2
- Publisher
- 한국통신학회
- Language
- Korean
- Type
- Conference Paper
- Abstract
- 본 논문에서는 엣지 디바이스에서 소형 시각-언어 모델을 효율적으로 추론하기 위한 이종 프로세서 기반 실행 성능을 분석한다. llama.cpp 기반으로 Qwen2-VL-2B-Instruct 모델의 CPU 및 GPU 실행 성능을 비교하였으며, NPU 환경에서 TTFT와 TPOT를 측정하기 위한 경량 프로파일링 모듈을 구현하였다. 실험 결과, NPU 추론은 CPU 대비 TTFT를 크게 단축한 반면, TPOT와 TPS는 유사하게 나타남을 확인하였다. 이를 통해 엣지 VLM 추론에서 비전 인코딩은 NPU에서, LLM 디코딩은 CPU에서 처리하는 하이브리드 구조의 가능성을 제시한다.