BROWSE
Detail
Conference Paper
MX/NVFP 양자화 형식의 행렬곱 실행시간 분석
Cited - time in 
Share 
Share
- Issue Date
- 2026-06
- Citation
- 한국컴퓨터 종합 학술대회 (KCC) 2026, pp.1664-1666
- Publisher
- 한국정보과학회
- Language
- Korean
- Type
- Conference Paper
- Abstract
- LLM 양자화에서 계층마다 서로 다른 비트 수를 할당하는 혼합 정밀도 방식은 일반적으로 각 계층의 양자화 민감도를 기준으로 비트 수를 선택한다. 민감하지 않은 계층에는 낮은 비트, 민감한 계층에는 높은 비트를 할당하는 방식이다. 이 접근은 정확도 손실을 줄이는 데 유효하지만 실제 추론 속도는 행렬곱의 입력 차원 K와 출력 차원 N, 그리고 한 번의 행렬곱이 처리하는 토큰 수 M의 조합에 따라 크게 변하므로, 정확도 관점에서 합리적인 선택이 속도 관점에서는 손해가 될 가능성이 있다. 본 연구는 Qwen3 1.7B와 8B의 가중치 행렬곱을 MX, NVFP 계열 네 가지 저정밀 형식으로 수행하고, 입출력 차원이 같은 행렬곱을 묶은 네 그룹 각각에서 M을 1부터 2048까지 변화시키며 BF16 대비 행렬곱 커널 시간 기준 상대 속도를 측정하였다. 그 결과 동일 형식이라도 그룹과 M 조합에 따라 BF16 대비 최저 0.19배까지 느려지거나 최대 6.12배까지 빨라졌으며, BF16을 처음 추월하는 M이 그룹마다 4에서 1024까지, 도달하는 최대 배율이 1.81배에서 6.12배까지 달랐다. 이는 양자화 형식 선택이 양자화 민감도뿐 아니라 속도 이득이 실제로 발현되는 조건을 함께 고려할 필요가 있음을 시사한다.