상세정보
등록 서브워드 임베딩 및 스킵서트 기반 문장 임베딩 방법 및 장치
- 출원번호
- 10-2018-0154641 (2018.12.04) KIPRIS
- 공개번호
- 10-2020-0067603 (2020.06.12)
- 등록번호
- 10-2540774-0000 (2023.06.01)
- 출원국
- 대한민국
- 협약과제
- 18ZS1100, 자율성장형 AI 핵심원천기술 연구, 이윤근
- 초록
- 서브워드 임베딩을 이용한 문장 임베딩 방법에, 어절 기반 포지션 인코딩을 도입하여 어절 구성 단어의 임베딩값 가중치를 문장 임베딩값 결정에 활용하는 방법이 제공된다. 본 발명에서는 스킵서트 문장 임베딩 학습 방법론을 서브워드 임베딩 기술과 통합하기 위하여 서브워드 임베딩을 학습할 때 문장 문맥 정보를 어떻게 서브워드 임베딩에 반영할지의 방법론으로서 서브워드 임베딩 기반 스킵서트 문장 임베딩 학습 방법, 그리고 서브워드 임베딩 학습 및 스킵서트 문장 임베딩 학습의 동시 학습 즉 멀티태스크 러닝 방법론이 제공된다. 이는 한국어와 같은 교착어에 백-오브-워드 방식의 문장 임베딩 접근법을 적용할 수 있게 한다. 또한, 본 발명에 따르면, 스킵서트 문장 임베딩 학습 방법론을 서브워드 임베딩 기술과 통합하여 서브워드 임베딩을 학습할 때 문장 문맥 정보를 이용할 수 있게 한다. 본 발명이 제시하는 모델은 문장 임베딩을 고려한 추가적인 학습 파라미터를 최소화하여, 대부분의 학습 결과가 서브워드 임베딩 파라미터에 누적되게 한다.
- KSP 제안 키워드
- Thought model, embedding method
- 패밀리
| 구분 | 특허 | 출원국 | KIPRIS |
|---|---|---|---|
| 등록 | 서브워드 임베딩 기반 스킵서트 문장 임베딩 기술 | 미국 |