BROWSE
Detail
Conference Paper
제한된 토큰 예산의 한영 사전학습에서 MoE와 MLA의 통제 비교
Cited - time in 
Share 
Share
- Issue Date
- 2026-10
- Citation
- 한글 및 한국어 정보처리 학술대회 (HCLT) 2026, pp.553-558
- Publisher
- 한국정보과학회
- Language
- Korean
- Type
- Conference Paper
- Abstract
- 제한된 자원으로 언어 모델을 사전학습할 때 fine-grained MoE, Multi-head Latent Attention(MLA), QK-Norm, shared expert와 같은 설계 선택을 고려할 수 있지만, 이들의 효과는 대개 서로 다른 모델 규모·데이터·구현 조건에서 보고되어 직접 일반화하기 어렵다. 본 연구는 A100 4장에서 활성 파라미터(active parameters)를 1.4B로 일치시킨 Dense-GQA, MoE-GQA(전체 8.3B), MoE-MLA(전체 8.4B)를 비교하였다. 세 변형을 한영 이중언어 코퍼스에서 동일한 데이터 순서로 4.59B 토큰까지 학습한 결과, 두 MoE 변형은 Dense-GQA보다 9–10% 낮은 held-out PPL을 보였으며, MoE-GQA와 MoE-MLA의 차이는 1% 미만이었다. 500M-토큰 ablation에서는 QK-Norm 제거, shared expert를 동일 활성 폭의 routed expert로 대체하는 구성, 그리고 RoPE 키의 헤드 간 공유를 검토하였으며, 이 중 QK-Norm 제거가 가장 큰 성능 저하를 보였다. Dense-GQA와 MoE-GQA의 상대적 순위는 seed 반복과 축소된 토큰 예산에서도 유지되었으나, 효과 크기는 예산에 따라 일정하지 않았다. 또한 본 구현에서 MoE 계열의 실측 처리량은 Dense-GQA의 약 23%에 그쳐, 고정 GPU-시간 기준에서는 다른 결론이 가능하다.
- Keyword
- 언어모델, 사전학습, MoE, MLA
- KSP Keywords
- Fine grained(FG), Multi-head