본 기술이전의 대상은 위 연구개발 결과물 중 이종 가속기(CPU·GPU) 환경에서 RAG 파이프라인을 분산 추론하는 6단계 처리 파이프라인이다. 이 파이프라인은 어휘 검색, 의미 검색, 하이브리드 융합, 재순위, 프롬프트 생성, 답변 생성의 6개 모듈로 구성되며, 각 모듈은 분산 실행 프레임워크인 Ray에저 지원하는 actor 및 task 단위로 나누어진다. 그리고 각 모듈의 연산 특성과 하드웨어 친화도에 따라 적합한 가속기(CPU·GPU)에 배치·실행된다. 본 기술이전을 통해 이종 자원의 상보적 특성을 활용하여 자원 활용률과 처리 효율을 극대화하는 것을 지향한다.
본 기술이전은 「이종 AI 반도체용 분산 추론 및 모델 최적화 기술 개발」 과제에서 확보한 6단계 RAG 파이프라인 분산 배치·실행 기술을 수요기업에 이전하여, 이종 자원 기반 RAG 서비스의 조기 상용화를 지원하는 것을 목적으로 한다.
본 이전기술은 어휘 검색, 의미 검색, 하이브리드 융합, 재순위, 프롬프트 생성, 답변 생성으로 구성된 6단계 RAG 파이프라인을 각 모듈의 연산 특성과 하드웨어 친화도에 따라 CPU와 GPU 등 이종 AI 가속기에 분산 배치하고, Ray의 Actor/Task 방식으로 실행하는 기술이다. 또한 Ray의 자원 태그를 활용하여 모듈별 자원 배치를 유연하게 구성·변경할 수 있으며, 질의 입력부터 최종 답변 생성까지 end-to-end 분산 추론을 지원한다. 이러한 특징을 통해 단일 노드 또는 동종 가속기 중심의 기존 RAG 시스템에서 발생할 수 있는 자원 활용의 비효율을 줄이고, 이종 자원의 상보적 특성을 활용하여 자원 활용률과 처리 효율을 높일 수 있다. 또한 모듈별 실행 시간을 확인할 수 있어 시스템의 처리 상태와 성능을 분석하기 용이하며, 최종 답변과 함께 근거 문서를 제공함으로써 생성된 답변의 근거를 확인할 수 있다는 장점이 있다.
본 기술은 「이종 AI 반도체용 분산 추론 및 모델 최적화 기술 개발」 과제의 일환으로 개발된 기술로서, CPU와 GPU 등 이종 AI 가속기로 구성된 분산 컴퓨팅 환경에서 RAG(Retrieval-Augmented Generation) 파이프라인을 구성하는 어휘 검색, 의미 검색, 하이브리드 융합, 재순위, 프롬프트 생성, 답변 생성의 6개 처리 모듈을 각 모듈의 연산 특성과 하드웨어 친화도에 따라 적합한 가속기에 분산 배치·실행하기 위한 기술이다. 각 모듈은 분산 실행 프레임워크인 Ray의 Actor 또는 Task 단위로 구성되며, 자원 태그를 이용하여 CPU·GPU 자원을 지정하고 모듈별 배치를 구성·변경할 수 있다. 또한 구성된 6단계 RAG 파이프라인을 통해 사용자 질의 입력부터 최종 답변 생성까지 end-to-end 분산 추론을 수행하고, 각 모듈의 실행 시간과 최종 답변 생성에 사용된 근거 문서를 제공할 수 있다.
- 세부기술명: 이종 AI 가속기 기반 RAG 파이프라인 분산 배치·실행 기술
본 기술이전의 범위는 CPU·GPU로 구성된 이종 AI 가속기 환경에서 6단계 RAG 파이프라인을 분산 실행하기 위한 기능으로 한정한다. 구체적으로 ① Ray 자원 태그를 이용한 이종 자원 클러스터 구성, ② 어휘 검색·의미 검색·하이브리드 융합·재순위·프롬프트 생성·답변 생성의 6개 RAG 모듈 구성, ③ 각 모듈의 Ray Actor/Task 단위 구성 및 CPU·GPU 자원별 분산 배치·실행, ④ 질의 입력부터 최종 답변 생성까지의 end-to-end 분산 추론, ⑤ 모듈별 실행 시간 측정, ⑥ 최종 답변에 대한 근거 문서 제공 기능?을 포함한다. 해당 기능들은 시험을 통해 이종 자원 구성, RAG 모듈 배치, end-to-end 분산 처리, 모듈별 실행 시간 및 근거 문서 제공이 정상적으로 수행됨을 확인하였다.
본 기술은 내부 문서 기반 질의응답이 필요하면서 CPU·GPU 혼합 자원을 보유한 기관·기업에 우선 적용 가능하며, 자원 활용률 향상과 RAG 구축 비용 절감을 기대할 수 있다.
- 기술적 기대효과
● 모듈별 하드웨어 친화도에 따른 배치로 CPU·GPU 유휴 시간을 줄이고, 이종 자원의 상보적 활용을 통해 처리 효율을 높임
● Ray 자원 태그 기반 배치 구성으로, 코드 수정 없이 모듈별 실행 자원을 변경할 수 있어 서비스 환경 변화에 유연하게 대응함
● 모듈 단위 Actor/Task 구조이므로 병목 모듈만 선택적으로 복제·확장(scale-out)할 수 있음
● 모듈별 실행 시간 측정 결과를 활용하여 병목 구간을 식별하고 배치를 최적화할 수 있음
●
- 경제적 기대효과
● 고가 GPU를 생성·재순위 등 핵심 연산에 집중시키고, 검색·전처리는 기존 CPU 자원으로 처리하여 인프라 도입 비용을 절감함
● 검증된 파이프라인 구조를 이전받음으로써 수요기업의 RAG 시스템 개발 기간과 인력 투입을 줄임
●
- 산업적·사회적 기대효과
● 공공·국방·금융 등 보안 민감 분야의 생성형 AI 도입 장벽을 낮추어 업무 생산성 향상에 기여함
● 근거 문서 제공 기능을 통해 생성형 AI 답변의 검증 가능성을 높이고, 신뢰할 수 있는 AI 활용 문화 확산에 기여함
● 향후 국산 NPU를 자원 태그로 추가하는 방식의 확장을 통해, 국산 AI반도체의 실제 서비스 적용 사례 확보에 기여할 수 있음