Registered
Incremental Training Based Knowledge Transfer Method for Training Large Deep Neural Networks and Apparatus Therefor
- Inventors
-
주동규, 임준호, 김준모, Ji-Hoon Bae, Cheol Sig Pyo, Nae-Soo Kim
- Application No.
-
10-2017-0117001 (2017.09.13)
KIPRIS
- Publication No.
-
10-2018-0096474 (2018.08.29)
- Registration No.
- 10-2063377-0000 (2019.12.31)
- Country
- KOREA
- Abstract
- 중대형 네트워크의 학습을 위한 점진적인 학습 기반 정보 이전 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 정보 이전 방법은 이미 학습된 제1 딥 신경망의 레이어들 간 정보 흐름을 정의하는 단계; 상기 정의된 정보 흐름을 이용하여 상기 제1 딥 신경망과 학습시키고자 하는 제2 딥 신경망 사이에 형성된 적어도 하나 이상의 딥 신경망을 학습시키는 단계; 및 상기 학습된 적어도 하나 이상의 딥 신경망의 정보 흐름을 이용하여 상기 제2 딥 신경망을 학습시키는 단계를 포함한다.
- KSP Keywords
- Deep neural network(DNN), Incremental training, Knowledge transfer, Transfer method, neural network, training based