상세정보
학술지
딥 Residual Network를 이용한 선생-학생 프레임워크에서 힌트-KD 학습 성능 분석
- 발행일
- 201705
- 출처
- 전자공학회논문지, v.54 no.5, pp.35-41
- ISSN
- 2287-5026
- 출판사
- 대한전자공학회 (IEEK)
- 초록
- 본 논문에서는 지식추출(knowledge distillation) 및 지식전달(knowledge transfer)을 위하여 최근에 소개된 선생-학생 프레임워크 기반의 힌트(Hint)-knowledge distillation(KD) 학습기법에 대한 성능을 분석한다. 본 논문에서 고려하는 선생-학생 프레임워크는 현재 최신 딥러닝 모델로 각광받고 있는 딥 residual 네트워크를 이용한다. 따라서, 전 세계적으로 널리 사용되고 있는 오픈 딥러닝 프레임워크인 Caffe를 이용하여 학생모델의 인식 정확도 관점에서 힌트-KD 학습 시 선생모델의 완화상수 기반의 KD 정보 비중에 대한 영향을 살펴본다. 본 논문의 연구결과에 따르면 KD 정보 비중을 단조감소하는 경우보다 초기에 설정된 고정된 값으로 유지하는 것이 학생모델의 인식 정확도가 더 향상된다는 것을 알 수 있었다.
- KSP 제안 키워드
- Knowledge transfer, knowledge distillation