- 생성형 언어모델에 학습된 내재지식(parametric knowledge)과 외부지식(non-parametric knowledge)의 융합을 통해, 생성형 언어모델의 한계를 극복할 수 있는 재귀적 검색증강생성(Recursive Retrieval-Augmented Generation) 기술임.
- 초거대 생성형 언어모델의 주요한 문제인 환각문제(hallucination)는 정보의 신뢰성이 중요한 지식중심의 태스크(knowledge intensive task)에서 치명적인 문제임. 환각문제를 해결하기 위한 주요한 기술로 검색증강생성 기술이 주목을 받고 있음.
. 검색증강생성은 검색된 외부지식을 근거 컨텍스트로 활용하여 응답을 생성하는 기술로, 외부지식 검색이 핵심적인 기술임. 이를 위해서 사전검색기술(pre-retrieval), 사후검색기술(post-retrieval)에 대한 연구가 활발하게 진행되고 있음
. 내재지식과 외부지식의 융합에는 지식충돌(knowledge conflict)이 발생하고 이를 해결하기 위해서, 다양한 검증방법(verification)에 대한 연구가 활발히 진행되고 있음.
. 생성형 언어모델이 발표된 이후에 새롭게 생성된 최신지식에 대한 응답생성을 위해서는, 검색을 통해 최신지식을 수집하고 생성형 언어모델에 컨텍스트로 제공해야 최신지식에 대한 올바른 응답을 생성할 수 있음.
● 생성형 언어모델의 환각문제를 최소화하고, 신뢰성 확보가 중요한 지식중심 기술 분야에 생성형 언어모델을 효율적으로 적용/보급하기 위해 재귀적 검색증강생성 기술이 필요함.
● 생성형 언어모델은 다양한 분야에서 범용인공지능에 가까운 성능을 보임에도 불구하고, 최신 정보 반영이 어려울 뿐만 아니라 지속인 학습을 통해 최신 정보를 반영하는 것 또한 고비용이 수반되는 어려운 문제임. 따라서, 최신성을 지속 가능하게 유지할 수 있는 검색증강생성 기술이 필요함.
● 재귀적 검색증강생성 기술은 뛰어난 검색 및 재순위화 기술에 기반하여 소형 언어모델(sLM)에서도 좋은 성능을 보이므로, 다양한 산업분야에 적용하여 업무효율을 극대화하기 위해 필요함.
- 본 기술은 생성형 언어모델의 환각문제를 최소화하고, 최신 지식정보를 반영하여 응답생성이 가능한 재귀적 검색증강생성 기술로 다음과 같이 구성된다.
. 생성형 언어모델에 최신성 데이터를 주입시키는 지속학습(continual learning) 기술
. 검색증강 생성의 밀집검색을 위한 한국어 특화 텍스트 임베딩(text embedding) 기술
. 가상문서임베딩, 밀집검색, 응답생성, 응답판단, 질의재생성으로 구성되는 재귀적 검색증강생성 플랫폼 기술
A. 기술명 : 효율적인 학습을 위한 sparse adapter 기반 지속학습 기술 (ver 2.0)
- MoE(Mixture of Experts) 기반 고용량(high-capacity) adapter 지속학습 기술
- 부분 미세조정(partial finetuning)을 이용한 메모리와 속도에 효율적인 지속학습 기술
- 지식 엔트로피(knowledge entropy)를 이용한 망각완화 및 적응적 지속학습 기술
- Sparse adapter의 학습 및 추론 서빙 호환성 개선 기술
B. 기술명 : 한국어 특화 텍스트 임베딩 기술 (ver 2.0)
- 한국어 특화 언어이해모델(ETRI Roberta-large) 기반 한국어 텍스트 임베딩 기술
- 최적 손실함수(sigmoid weighted InfoNCE)를 적용한 효과적인 한국어 텍스트 임베딩 기술
- 한국어 임베딩 모델의 멀티GPU 기반 분산 학습 지원 기술
C. 기술명 : 재귀적 검색증강생성 기술
- 응답생성에 대한 자가검증(self-verification) 및 판단(judge)을 통한 이차검증 기술
- 가상문서임베딩(HyDE) 및 질의재생성(Query Generation) 기술
- 재귀적 검색증강생성을 위한 플랫폼 기술
A. 기술명 : 효율적인 학습을 위한 sparse adapter 기반 지속학습 기술 (ver 2.0)
- MoE 기반 sparse adapter 지속학습 모듈
- 부분 미세조정을 이용한 지속학습 모듈
- 지식 엔트로피를 이용한 지속학습 모듈
- 태스크 변환 기반 지속학습 데이터 구성 모듈
- 지속학습 모듈별 학습 파라미터 설명과 학습 방법에 대한 매뉴얼
B. 기술명 : 한국어 특화 텍스트 임베딩 기술 (ver 2.0)
- 한국어 특화 언어이해모델 기반 한국어 텍스트 임베딩 모델
- 한국어 특화 언어이해모델 기반 한국어 텍스트 임베딩 학습 모듈
- 텍스트 임베딩 모델을 이용한 텍스트 유사도 측정 모듈
- 한국어 텍스트 임베딩 모델 학습 방법, 텍스트 유사도 측정 방법에 대한 설명에 대한 매뉴얼
C. 기술명 : 재귀적 검색증강생성 기술
- 재귀적 검색증강생성을 위한 FastAPI 플랫폼 모듈
- Sparse adapter 기반 가상문서 임베딩(HyDE) 모듈
- 재귀적 검색증강생성 플랫폼 설명에 대한 매뉴얼
● 적용분야: AI 업무자동화 시스템
▶ 도메인 특화 검색증강생성(RAG) 플랫폼 구축
▶ 최신 정보 기반 AI 업무지원 및 AI 에이전트
▶ 기업·공공기관 지식검색 및 질의응답 서비스
▶ 법률·규정·기술문서 분석 및 의사결정 지원
● 기대효과
▶ 글로벌 인공지능 시장에서 핵심 기술로 성장한 검색증강 생성형 기술 경쟁력을 확보하고, 최신성과 신뢰성이 보장된 인공지능 기술의 기술 우위를 기반으로 국내 인공지능 서비스 경쟁력 강화에 기여
▶ 언어모델의 환각문제를 완화하고, 최신지식 정보를 기반으로 응답을 생성할 수 있는 검색증강생성 기술로 AI 업무자동화 혁신에 기여