● 본 기술은 생성된 문서의 사실성을 검증하는 기술에 대한 것입니다. 여기서, 문서의 사실성 검증 기술은, 해당 문서의 내용이 사실에 기반하여 생성되었는지 여부를 판단하는 기술을 의미합니다. 본 기술은 생성된 문서의 사실성을 효율적으로 상세하게 검증을 수행하는 기술에 대한 것입니다.
● 본 기술은 아래 세부 기술로 구성된다.
- 사실성 검증 모델 (Claim Check 모델)
- 원자적 주장 추출 모델 (Atomic Claim Extractor 모델)
- 계층적 사실 검증 기술
● 사실성 오류 문서 점검 필요성 증대: 최근 대규모 언어 모델(Large Language Models, LLM) 기술의 발전에 의해 생성되는 문서의 양이 증가함에 따라, 생성된 문서의 사실성을 검증하는 기술에 대한 요구가 증가하고 있습니다. 대규모 언어 모델은 확률을 기반으로 문서를 생성함에 따라, 대규모 언어 모델을 기반으로 생성되는 문서는 환각 증상을 포함할 수 있습니다. 즉, 생성된 문서에 사실이 아닌 내용이 포함되는 경우가 존재합니다. 대규모 언어 모델 기술의 발전에 의해, 생성된 문서가 포함하는 환각 증상이 감소하고 있으나 여전히 환각 증상이 나타나고 있습니다.
● 비용 효율적인 사실성 검증 기술 필요: 기존의 사실성 검증 기술, 특히 원자적 사실 검증(Atomic Factual Verification) 기술은 상세 검증이 가능한 반면, 계산과 시간 측면에서 높은 비용을 요구하는 비효율성 문제를 가지고 있습니다. 왜나하면, 주어진 원 문서(문장)에 포함된 모든 개별 사실 주장(claim)들을 분리?추출 하고 개별 사실 주장들에 대해 각각 증거 문서를 검색하고 이를 기반으로 사실 검증을 수행해야 하기 때문입니다. 또한, 생성된 문장의 대부분이 사실 문장인 점을 감안하면 원자적 주장 기반 사실 검증 방법은 더욱 비효율적이라고 할 수 있습니다.
● 다중 사실 주장을 포함하는 문장에 대한 검증 기술 필요: 검증 효율성을 높이는 방법은 최대한 많은 수의 주장을 한번에 검증하는 것입니다. 하지만, 주장의 수가 늘어날수록 검증 성능은 떨어질 수 있습니다. 둘 사이의 접점은 문서에 주어진 원문장 단위로 검증을 하는 것입니다. 왜냐하면, 대부분의 경우 하나의 문장 안에는 서로 관련된 사실들을 담고 있을 것이기 때문입니다. 따라서, 다중 사실을 포함할 수 있는 원문장에 대해, 원자적 주장 분할 없이, 있는 그대로 검증할 수 있는 기술이 요구됩니다.
● 실제 오류를 가지고 있는 부분만 특정할 수 있는 기능 필요: 여러 다중 사실을 포함한 문장에서 실제 어떤 부분이 오류를 가지고 있는지 확인할 수 있는 능력은 사실 검증에서 중요한 기능입니다. 그래야, 오류 부분에 대해 정확히 특정할 수 있기 때문입니다.
● 원문장에서 원자적 주장을 추출할 수 있는 기능 필요: 여러 주장을 포함하고 있는 원문장에서 오류를 가지고 있는 부분을 특정하기 위해서는, 원문장을 개별 사실을 담고 있는 원자적 주장들로 분해하여 추출해야 합니다. 이러한 기능은 사실검증과는 별도의 능력으로써 이에 특화된 생성형 언어모델이 구축할 필요가 있습니다.
● 다중 사실 주장을 포함하는 문장에 대한 사실 검증 기술
- 한 문장 내에 하나의 주장뿐만 아니라 복수개의 개별 주장들을 담고 있는 경우에도 사실 검증을 할 수 있는 모델
- 다중 사실 주장을 포함하는 문장의 사실 여부를 판단할 수 있는 특화 언어 모델
- 즉, 주어진 주장 문장이 한 개 이상의 주장을 포함하는 경우에도 사실 검증이 가능해야 함
● 원자적 사실 주장 문장을 추출하여 생성할 수 있는 기술
- 문장을 입력하면 주어진 문장에 포함된 원자적 사실 주장(atomic factual claim) 문장들로 분해하여 생성함. 즉, 출력은 원문장에 포함된 원자적 사실 주장 문장 리스트임
(여기에서, 사실이란 경험적 증거 또는 현실에 근거하여 객관적으로 참 또는 거짓을 검증할 수 있는 진술이나 주장을 의미함)
-원문장에 하나 이상의 사실 주장을 포함된 경우 이를 각각의 원자적 사실 주장 문장들로 분해할 수 있는 특화 언어 모델
-원자적 사실 주장이란 하나의 검증 가능한 단위 사실을 명시적으로 제시하는 진술임
● 원자적 주장 문장을 추출하여 생성할 수 있는 기술
- 문장을 입력하면 주어진 문장에 포함된 모든 원자적 주장(atomic claim) 문장들을 추출 생성하여 출력함
- 원문장에 포함된 모든 원자적 주장을 추출하여 문장으로 생성할 수 있는 특화 언어 모델
- 이 기술은 원문장이 근거 문서에 포함된 내용만을 포함하도록 생성된 경우에 한정함. 이 경우 근거 문서는 사실뿐만 아니라 의견도 포함할 수 있음
즉, 원자적 주장 문장은 '사실 주장'뿐만 아니라, 근거문서로 검증(grounding)할 수 있는 '의견 주장'도 포함할 수 있음
(여기에서, 의견이란 사실에 기반한 판단으로, 사실적 증거로부터 합리적인 결론을 도출하려는 시도임. 기저가 되는 사실은 검증 가능할 수 있으나, 그로부터 도출된 의견 자체는 주관적이며 보편적으로 검증 가능하지 않을 수 있음.)
● 계층적 사실 검증 기술
- 생성된 문서를 입력하면 문장들로 분할하고, 각 문장들에 대해 사실검증을 수행하여 원문장의 사실(grounding) 여부를 출력함.
- 원문장이 사실이 아닌 경우 원자적 주장으로 분해·추출하여 생성하고, 각각의 원자적 주장에 대해 사실검증을 수행한 후, 그 결과를 취합하여 원문장에 대한 최종 사실 여부를 결정하여 출력함
o 다중 사실 주장을 포함하는 문장에 대한 사실 검증 기술
- 다중 사실 주장 문장의 사실 여부를 판단할 수 있는 특화 언어 모델
- 주장 문장(claim sentence)과 근거 문서를 입력하면 주장 문장에 대한 사실(grounding) 여부를 출력으로 반환하는 사실 검증 기술
- 검증 성능 현황(논설/뉴스/법률판례/위키백과 분야 평가셋): F1 86.0%, Acc 85.8%
- 글로벌 초거대 언어모델(GPT-5) 수준의 성능(F1 85.9%, Acc 85.9%)
o 원자적 사실 주장 추출 생성 기술
- 원문장이 주어지는 경우 하나 이상의 사실 주장을 포함하는 경우 이를 각각의 원자적 사실 주장(의견 주장은 제외) 문장들로 추출하여 생성할 수 있는 특화 생성형 언어 모델
- 검증 성능 현황(원자성/충분성/조작성/가독성/중복성/완전성을 고려한 평가 점수): 98.6
- 글로벌 거대 언어모델(Qwen3-4B-Instruct) 수준의 성능(98.7)
o 원자적 주장 추출 생성 기술
- 원문장이 주어지는 경우 하나 이상의 주장을 포함하는 경우 이를 각각의 원자적 주장(의견 주장 포함) 문장들로 분해할 수 있는 특화 생성형 언어 모델
- 검증 성능 현황(원자성/충분성/조작성/가독성/중복성/완전성을 고려한 평가 점수): 98.9
- 글로벌 거대 언어모델(Qwen3-4B-Instruct) 수준의 성능(98.4)
o 계층적 사실 검증 기술
- 생성된 문서를 입력하면 문장들로 분할하고, 각 문장들에 대해 사실 검증을 수행하고, 원문장의 사실(grounding) 여부를 출력하며, 원문장이 사실이 아닌(ungrounded) 경우 원자적 주장으로 분해/추출하여 생성하고, 각각의 원자적 주장에 대해 사실 검증을 수행하는 기술
- 검증 성능 현황(논설/뉴스/법률판례/위키백과 분야 평가셋 3100건): F1 87.0%, Acc 86.6%
- 글로벌 초거대 언어모델(GPT-5) 수준의 성능(F1 85.9%, Acc 84.7%)
o 다중 사실 주장을 포함하는 문장에 대한 사실 검증 기술
- 다중 사실 주장 문장의 사실 여부를 판단할 수 있는 특화 언어 모델
- 사실 검증 모델을 위한 테스트 환경
- 파인튜닝에 사용한 학습데이터
- 다중 사실 주장 검증 모델 사용자 매뉴얼
o 원자적 사실 주장 문장을 추출하여 생성할 수 있는 기술
- 원자적 사실 주장 추출에 특화된 생성형 언어 모델
- 원자적 사실 주장 추출 모델을 위한 테스트 환경
- 파인튜닝에 사용한 학습데이터
- 원자적 사실 주장 추출 생성 모델 사용자 매뉴얼
o 원자적 주장 문장을 추출하여 생성할 수 있는 기술
- 원자적 사실 주장 추출에 특화된 생성형 언어 모델
- 원자적 주장 추출 모델을 위한 테스트 환경
- 파인튜닝에 사용한 학습데이터
- 원자적 주장 추출 생성 모델 사용자 매뉴얼
o 계층적 사실 검증 기술
- 계층적 사실 검증 SW
- 계층적 사실 검증 SW 사용자 메뉴얼
● 적용분야
- 문서 요약 시스템: 문서 요약은 AI 서비스 중에서 가장 많이 활용되는 분야 중에 하나임. 긴 문맥을 기반으로 생성된 문서 요약의 경우, 요약된 내용에서 실수로 사실이 아닌 내용을 포함하거나 AI 모델의 환각과 같은 오류를 포함되는 경우가 종종 있음. 특히, 길이가 긴 요약문을 생성하는 경우 문서의 길이가 길어질수록 더 많은 오류를 포함할 수 있는 단점이 있음. 사실 검증을 통해 이 시스템의 신뢰성을 제고할 수 있음, 특히, 의료분야나 법률분야의 문서 요약 서비스는 그 내용의 사실성은 필수적으로 가지고 있어야 함
- 다중 문서 기반 초안 문서 생성 시스템: 여러 개의 문서를 취합하여 초안 문서를 생성하는 시스템은 근거가 되는 내용들을 종종 복수개의 문서에서 가져와서 생성하는 경우가 많음. 예를 들어 법류분야의 판결문을 작성할 경우, 다양한 문서의 증거들을 취합하여 작성해야 함. 또한 시장 분석 문서를 작성하는 경우 다양한 시장 및 업계 현황을 많은 수의 문서에서 필요한 정보를 추출하여 작성함. 그런데, 이때 가져온 내용들이 근거 문서에 기반하지 않는 경우, 생성된 문서의 전체적인 사실성이 떨어지게 될 가능성이 높음.
- 복합 정보를 포함하며 길이가 긴 문서를 생성하는 AI 질의응답 시스템: 최근 AI 질의응답 시스템은 사용자의 질의에 대한 충실한 응답을 제공함. 그런데, 사용자의 질의가 단순한 검색 수준 이상의 복합적인 정보를 취합하여 응답을 생성하는 경우, 환각과 같은 오류를 포함하는 경우가 종종 있음. 이와 같은 상황에서의 AI 응답에 대해 사실성을 확보하는 것은 필수적인 기능임
● 기대효과
- 생성 문서 사실성 개선: 사실성 검증의 첫번째 효과는 생성된 문서의 사실 오류를 발견하여 생성자에게 알려줌으로써 해당 부분을 수정할 수 있는 기회를 제공할 수 있음. 이를 통해 생성된 문서의 사실성을 개선할 수 있음
- 사실 검증 프로세스의 효율성 확보: 본 기술은 기존 원자적 사실 검증 기술의 고비용성 문제를 해결할 수 있는 알고리즘 및 특화 모델을 제공함으로써 사실 검증 기술의 효율성을 확보할 수 있음. 특히, 생성된 문서의 길이가 길어질수록 본 기술은 더 높은 비용 효율성을 제공할 수 있음.
- 오류 위치를 특정할 수 있는 기능 포함: 본 기술은 원문장의 어느 부분에 오류가 있는지 그 위치를 알아낼 수 있음. 1단계 검증에서 원문장에 거짓이 포함되었음이 판별될 경우, 원자적 주장을 추출하여, 개별 원자적 주장에 대한 사실검증을 수행함으로써 해당 오류 부분을 특정할 수 있음