상세정보
학술지
임베디드 시스템에서의 양자화 기계 학습을 위한 효율적인 양자화 오차 보상에 관한 연구
- 저자
- 석진욱
- 발행일
- 202003
- 출처
- 방송공학회논문지, v.25 no.2, pp.157-165
- ISSN
- 1226-7953
- 출판사
- 한국방송공학회
- 협약과제
- 20HS4700, 스마트기기를 위한 온디바이스 지능형 정보처리 가속화 SW플랫폼 기술 개발, 김정시
- 초록
- 본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.
- KSP 제안 키워드
- Inner loop, vanishing gradient