사전학습(pre-training) 이후의 생성형 언어모델에 학습되지 않은 최신성 데이터를 언어모델에서 효율적으로 학습하고, 지속적으로 최신성 데이터를 유지할 수 있는 생성형 언어모델 기술
- 생성형 언어모델에 최신성 데이터를 지속학습(continual learning) 및 사후학습(post-training)하여 언어모델의 내재지식(parametric knowledge)의 최신성을 유지하는 기술
- 검색증강생성(RAG: retrieval-augmented generation)으로 최신 외부지식(non-parametric knowledge)을 컨텍스트(context)로 제공하여 최신성 데이터를 활용하는 기술
● 저비용으로 생성형 언어모델의 최신성을 지속 가능하게 유지할 수 있는 학습 및 이를 최신성이 필요한 태스크에 활용하는 기술의 개발/보급이 필요함.
● 생성형 언어모델은 다양한 분야에서 범용인공지능에 가까운 성능을 보임에도 불구하고, 계속 사용이 될 때 최신 정보 반영이 어려울 뿐 아니라 지속적으로 반영하는 것 또한 고비용이 수반되는 어려운 문제임. 따라서, 최신성을 지속 가능하게 유지할 수 있는 최신성 학습 기술과 검생증강 생성을 위한 기반 기술이 필요함.
● 검색증강 생성기술은 뛰어난 검색 및 재순위화 기술에 기반하여 소형 언어모델(sLM)에서도 좋은 성능을 보이므로, 검색 및 재순위화를 위해 한국어에 특화된 밀집검색(dense retrieval) 및 군집화(clustering)기술이 필요함
본 기술은 지식의 최신성을 유지할 수 있는 생성형 언어모델을 위한 효율적인 학습 아키텍쳐 및 학습방법과 검색증강 생성의 기반 기술로 다음과 같이 구분된다.
- 생성형 언어모델에 최신성 데이터를 지속학습(continual learning) 및 사후학습(post-training) 기술
- 검색증강 생성의 밀집검색을 위한 한국어 특화 텍스트 임베딩(text embedding) 모델과 군집화 기술
A. 기술명 : 효율적인 학습을 위한 sparse adapter 기반 지속학습 기술
- MoE(Mixture of Experts) 기반 고용량(high-capacity) adapter 지속학습 기술
- 부분 미세조정(partial finetuning)을 이용한 메모리와 속도에 효율적인 지속학습 기술
- 지식 엔트로피(knowledge entropy)를 이용한 망각완화 및 적응적 지속학습 기술
B. 기술명 : 한국어 특화 텍스트 임베딩 및 군집화 기술
- 한국어 특화 언어이해모델(ETRI Roberta-large) 기반 한국어 텍스트 임베딩 기술
- 최적 손실함수(sigmoid weighted InfoNCE)를 적용한 효과적인 한국어 텍스트 임베딩 기술
- 한국어 특화 텍스트 임베딩 모델을 이용한 의미단위 군집화 기술
A. 기술명 : 효율적인 학습을 위한 sparse adapter 기반 지속학습 기술
- MoE 기반 sparse adapter 지속학습 모듈
- 부분 미세조정을 이용한 지속학습 모듈
- 지식 엔트로피를 이용한 지속학습 모듈
- 지속학습 모듈별 학습 파라미터 설명과 학습 방법에 대한 매뉴얼
B. 기술명 : 한국어 특화 텍스트 임베딩 및 군집화 기술
- 한국어 특화 언어이해모델 기반 한국어 텍스트 임베딩 모델
- 한국어 특화 언어이해모델 기반 한국어 텍스트 임베딩 학습 모듈
- 텍스트 임베딩 모델을 이용한 텍스트 유사도 측정 모듈
- 텍스트 임베딩 모델 기반 유사도를 활용한 의미단위 군집화 모듈
- 한국어 텍스트 임베딩 모델 학습 방법, 텍스트 유사도 측정 방법, 의미단위 군집화 방법에 대한 설명에 대한 매뉴얼
● 적용분야: AI 업무자동화 시스템
▶ 업무지원을 위한 정보검색 및 질의응답 서비스
▶ 최신 정보서비스를 위한 AI 챗봇 서비스
▶ 불공정 계약문서 분석 및 조항 수정 지원 서비스
▶ 최신정보를 반영한 의사결정지원 서비스
● 기대효과
▶ 글로벌 인공지능 시장에서 핵심 기술로 성장한 생성형 언어모델에서의 기술 경쟁력 확보로, 최신성과 신뢰성이 확보된 언어모델 활용을 통한 기술 우위를 기반으로 국내 인공지능 서비스 경쟁력 강화에 기여
▶ 최신성이 반영되지 않은 언어모델 활용으로 발생할 수 있는 사실성 문제 등 언어모델의 고질적 문제 해결로 AI 업무자동화 혁신에 기여