BROWSE
Detail
Registered Sentence embedding method and apparatus using subword embedding and skip-thought model
- Inventors
- Euisok Chung, Jung Ho Young, Hyun Woo Kim, Hwa Jeon Song, Yoo Rhee Oh, Kang Byung Ok, Park Jeon Gue, Lee Yunkeun
- Application No.
- 10-2018-0154641 (2018.12.04) KIPRIS
- Publication No.
- 10-2020-0067603 (2020.06.12)
- Registration No.
- 10-2540774-0000 (2023.06.01)
- Country
- KOREA
- Project Code
- 18ZS1100, Core Technology Research for Self-Improving Artificial Intelligence System, Lee Yunkeun
- Abstract
- 서브워드 임베딩을 이용한 문장 임베딩 방법에, 어절 기반 포지션 인코딩을 도입하여 어절 구성 단어의 임베딩값 가중치를 문장 임베딩값 결정에 활용하는 방법이 제공된다. 본 발명에서는 스킵서트 문장 임베딩 학습 방법론을 서브워드 임베딩 기술과 통합하기 위하여 서브워드 임베딩을 학습할 때 문장 문맥 정보를 어떻게 서브워드 임베딩에 반영할지의 방법론으로서 서브워드 임베딩 기반 스킵서트 문장 임베딩 학습 방법, 그리고 서브워드 임베딩 학습 및 스킵서트 문장 임베딩 학습의 동시 학습 즉 멀티태스크 러닝 방법론이 제공된다. 이는 한국어와 같은 교착어에 백-오브-워드 방식의 문장 임베딩 접근법을 적용할 수 있게 한다. 또한, 본 발명에 따르면, 스킵서트 문장 임베딩 학습 방법론을 서브워드 임베딩 기술과 통합하여 서브워드 임베딩을 학습할 때 문장 문맥 정보를 이용할 수 있게 한다. 본 발명이 제시하는 모델은 문장 임베딩을 고려한 추가적인 학습 파라미터를 최소화하여, 대부분의 학습 결과가 서브워드 임베딩 파라미터에 누적되게 한다.
- KSP Keywords
- Thought model, embedding method
- Family
| Status | Patent | Country | KIPRIS |
|---|---|---|---|
| Registered | SENTENCE EMBEDDING METHOD AND APPARATUS BASED ON SUBWORD EMBEDDING AND SKIP-THOUGHTS | UNITED STATES |