시각-언어 모델(LVLM)에 학습된 시각 지식과 텍스트 지식을 전체 재학습 없이 순차적·복합적으로 갱신하는 지속적 지식 편집(CCKE) 기술
- 편집 증거(이미지, 텍스트)를 저장하고 크로스모달 검색을 수행하는 이중 외부 메모리(MEM-E) 기술
- FFN 레이어의 시각/텍스트 별도 LoRA 어댑터로 모달리티별 분리 가중치 갱신을 수행하는 지식 편집(MEM-I) 기술
- 복합 질의 시 선택적으로 활성화되어 시각·텍스트 편집 지식을 연결하는 Knowledge Connector 기반 복합 추론 기술
?생성형 시각-언어 모델의 지식 노후화 및 오류 문제를 전체 재학습 없이 저비용으로 해결하고, 최신성·신뢰성 확보가 중요한 멀티모달 AI 응용 분야에 시각-언어 모델을 효율적으로 적용·보급하기 위한 기술로 필요함.
초거대 시각-언어 모델의 재학습에는 막대한 GPU 자원과 비용이 수반되므로, 전체 모델 가중치를 갱신하지 않고 LoRA 어댑터 가중치만 갱신하는 파라미터 효율적 편집을 통해 지식의 최신성을 지속 가능하게 유지할 수 있는 기술이 필요함.
실제 서비스 환경에서는 하나의 엔티티에 대해 시각 정보와 사실 정보의 변경이 교차로 발생하므로, 다수의 편집을 순차 수행하면서 이전 편집을 보존(Locality)하고 시각+텍스트 복합 질의에 통합 추론이 가능한 본 기술을 통해, 지식 갱신이 빈번한 멀티모달 AI 서비스의 운영 비용 절감과 신뢰성 확보에 기여하기 위해 필요함.
본 기술은 시각-언어 모델의 지식을 재학습 없이 지속적·복합적으로 편집하는 방법으로 다음과 같이 구분된다.
- 전체 가중치를 갱신하지 않고 시각/텍스트 LoRA 어댑터만 갱신하여 단일 GPU 환경에서 동작하는 파라미터 효율적 편집 기술
- 이중 외부 메모리와 모달리티별 분리 어댑터를 통해 다수의 편집을 순차 수행하면서 이전 편집을 보존하는 지속적 편집 기술
- Knowledge Connector를 통해 이미지+텍스트 복합 질의에 대한 통합 추론을 지원하는 기술 (CCKEB 벤치마크에서 기존 편집 기법 대비 성능 우위 검증, NeurIPS 2025 발표)
A. 기술명 : 시각-언어 모델 지속적 지식 편집(MemEIC) 기술
(1) 시각/텍스트 LoRA 어댑터 기반 지식 편집 기술 (MEM-I)
- 이미지와 대상 엔티티 정보를 입력받아, 해당 이미지에 연결된 엔티티 라벨을 새로운 값으로 변경하는 시각 지식 편집 기술
- 사실관계 트리플(주체, 관계, 객체)과 새로운 목표 객체를 입력받아, 모델의 해당 지식을 갱신하는 텍스트 지식 편집 기술
- FFN 레이어에 시각/텍스트 별도의 LoRA 어댑터를 적용한 모달리티별 분리 가중치 갱신 기술 (대상: LLaVA-1.5, MiniGPT-4)
- 전체 모델 가중치를 갱신하지 않고 어댑터 가중치만 갱신하는 파라미터 효율적 편집 기술
(2) 외부 메모리 기반 크로스모달 증거 검색 기술 (MEM-E)
- 입력 질의를 시각 부분과 텍스트 부분으로 자동 분해하는 쿼리 분해(Query Decomposition) 기술
- 편집 증거(이미지, 텍스트)를 이중 외부 메모리에 저장하는 기술
- 질의 시 관련 증거를 크로스모달 검색하여 편집·추론에 활용하는 기술
(3) Knowledge Connector 기반 복합 추론 및 평가 기술 (KC)
- 복합 질의 시에만 선택적으로 활성화되어 시각·텍스트 경로의 편집 지식을 연결하는 Attention 기반 LoRA(Knowledge Connector) 학습 기술
- 다수의 편집을 순차적으로 수행하면서 이전에 적용된 편집을 보존하는 지속적 편집 기술
- 편집 결과에 대해 Reliability, Locality, Generality 지표를 산출하는 평가 기술
- 편집된 모델(어댑터 가중치 포함)의 저장 및 로드 기술
A. 기술명 : 시각-언어 모델 지속적 지식 편집(MemEIC) 기술
- 시각 LoRA 어댑터 기반 시각 지식 편집 학습 모듈
- 텍스트 LoRA 어댑터 기반 텍스트 지식 편집 학습 모듈
- 이미지/텍스트 이중 외부 메모리 구축 및 크로스모달 증거 검색 모듈
- Knowledge Connector(Attention 기반 LoRA) 학습 모듈
- Reliability, Locality, Generality 지표 산출 평가 모듈
- 모듈별 학습 파라미터 설명과 편집/학습/평가 방법에 대한 매뉴얼
?적용분야: 멀티모달 AI 서비스의 지식 갱신 및 유지보수 시스템
- 시각-언어 모델 기반 AI 서비스의 지식 최신성 유지 및 오류 수정 플랫폼
- 이미지+텍스트 복합 질의응답이 필요한 기업·공공기관 멀티모달 지식검색 및 질의응답 서비스
- 전자상거래·미디어 분야의 상품/인물/엔티티 정보 변경 반영 AI 서비스
- 도메인 특화 시각-언어 모델의 저비용 지식 커스터마이징 및 유지보수
기대효과
- 전체 재학습 없이 어댑터 가중치만 갱신하는 파라미터 효율적 편집으로, 멀티모달 AI 서비스의 지식 갱신 비용을 절감하고 최신성과 신뢰성이 확보된 AI 서비스 운영에 기여
- 멀티모달 파운데이션 모델 중심으로 재편되는 AI 시장에서 지식 편집 원천기술 경쟁력을 확보하여, 국내 인공지능 서비스 경쟁력 강화에 기여