BROWSE
Detail
Conference Paper
1.58비트 BitNet을 활용한 LLM 기반 모션 예측 모델 경량화
Cited - time in 
Share 
Share
- Authors
- 임현진, 강보민, 장인수, 박대희
- Issue Date
- 2026-05
- Citation
- IEMEK Symposium on Embedded Technology (ISET) 2026, pp.503-503
- Publisher
- 대한임베디드공학회
- Language
- Korean
- Type
- Conference Paper
- Abstract
- 자율주행 및 로봇 내비게이션 시스템에서 궤적 예측은 다중 에이전트 간의 복잡한 상호작용과 의도를 파악해야 하는 핵심 과제이다. 최근 이를 위해 강력한 문맥 추론 능력과 해석 가능한 표현력을 제 공하는 대형 언어 모델(LLM)이 도입되고 있으나, 막대한 메모리와 연산량을 요구하여 자원이 제한된 엣지 디바이스에 배포하기 어렵다는 치명적인 한계가 있다. 본 연구에서는 이러한 격차를 해소하기 위해 LLM 기반 궤적 예측기를 경량화된 비트리니어(Bitlinear) 아키텍처로 변환하는 'BitTP' 프레임워크를 제안하였 다. Seq2Seq 모델 구조에서 세 가지 선택적 양자화 전략을 실험한 결과, 모델의 가중치(Weight)만 1.58 비트로 양자화하고 활성화(Activation)는 기존 정밀도(Full-precision)를 유지하는 방식(BitTP-Weight)이 가장 최적임을 규명하였다. 반면 활성화 값을 양자화할 경우 시공간적 추론에서 심각한 성능 저하와 학습 불안정성을 초래하였다. 시뮬레이션 및 벤치마크 실험 결과, BitTP-Weight는 기존 전체 정밀도(BF16) 베 이스라인 모델 대비 평균 변위 오차(ADE)를 14.29%, 최종 변위 오차(FDE)를 20.97% 감소시켜 예측 품 질을 오히려 향상시켰으며, 동시에 메모리 사용량과 추론 지연 시간(Latency)을 획기적으로 줄였다. 본 연 구는 정교하게 설계된 양자화가 효과적인 정규화기(Regularizer) 역할을 수행함을 입증하며, 엣지 디바이 스 환경에서도 고도화된 LLM 기반 추론 모델의 실질적인 배포 및 실시간 운용이 가능함을 보여준다.
- Keyword
- Trajectory Prediction, Edge Devices, Large Language Models, Model Quantization, Autonomous Systems
- KSP Keywords
- Autonomous Systems, Edge devices, Language Models, trajectory prediction