ETRI-Knowledge Sharing Plaform

ENGLISH

성과물

논문 검색
구분 SCI
연도 ~ 키워드

상세정보

학술지 딥 Residual Network를 이용한 선생-학생 프레임워크에서 힌트-KD 학습 성능 분석
Cited - time in scopus Download 15 time Share share facebook twitter linkedin kakaostory
저자
배지훈, 임준호, 유재학, 김귀훈, 김준모
발행일
201705
출처
전자공학회논문지, v.54 no.5, pp.35-41
ISSN
2287-5026
출판사
대한전자공학회 (IEEK)
DOI
https://dx.doi.org/10.5573/ieie.2017.54.5.35
초록
본 논문에서는 지식추출(knowledge distillation) 및 지식전달(knowledge transfer)을 위하여 최근에 소개된 선생-학생 프레임워크 기반의 힌트(Hint)-knowledge distillation(KD) 학습기법에 대한 성능을 분석한다. 본 논문에서 고려하는 선생-학생 프레임워크는 현재 최신 딥러닝 모델로 각광받고 있는 딥 residual 네트워크를 이용한다. 따라서, 전 세계적으로 널리 사용되고 있는 오픈 딥러닝 프레임워크인 Caffe를 이용하여 학생모델의 인식 정확도 관점에서 힌트-KD 학습 시 선생모델의 완화상수 기반의 KD 정보 비중에 대한 영향을 살펴본다. 본 논문의 연구결과에 따르면 KD 정보 비중을 단조감소하는 경우보다 초기에 설정된 고정된 값으로 유지하는 것이 학생모델의 인식 정확도가 더 향상된다는 것을 알 수 있었다.
KSP 제안 키워드
Knowledge transfer, knowledge distillation