본 기술이전은 딥러닝 기술을 활용하여 텍스트를 포함하는 이미지에 대해 자동으로 이미지 장면에 존재하는 텍스트를 이해하는 기술로 딥러닝 기술을 활용하여 문자가 존재하는 영역을 자동으로 검출하고 검출된 영역의 문자 정보를 인식하는 기술로 구성된다. 본 기술은 이미지 내 상표나 광고 등을 자동으로 탐지하여 비식별화하거나 불법 광고물 탐지 등 영상에서 자동으로 텍스트를 탐지하고 이를 분석하는 다양한 응용에 활용될 수 있다.
. 문자 검출 및 인식 기반 텍스트 이해 기술은 이미지 내 콘텐츠를 분석하고 다양한 비전 응용을 위해 기초가 되는 기술이나 전체 시스템을 구축하기까지 많은 요소 기술과 학습 기술이 요구됨
. 이러한 문자 검출 및 인식 기술은 이미지 기반 광고 분석, 문서 분석, 콘텐츠 비식별화, 상황 인식, 불법 광고물 인식 등 다양한 응용 분야에 적용가능한 기술로 다양한 서비스를 위해 중요한 기술임
. 본 기술은 실제 촬영 환경에서 나타나는 다양한 문자의 형태 변화 열화된 문자 이미지를 다루기 위한 문자 검출 기술과 정확도 향상을 위한 언어 컨텍스트 정보를 이용한 문자 인식 기술을 포함하고 있음
- 딥러닝 기반 문자 검출 기술
. 실제 촬영 환경에서의 다양한 형태를 갖는 텍스트를 효과적으로 검출하기 위한 다수의 프로포절 bounding box를 추출하고, 정교한 문자 영역을 얻기 위한 학습 기반 polygon 생성 및 polygon 조정 기술을 포함
- 딥러닝 기반 문자 인식 기술
. 문자 인식 정확도 향상을 위한 트랜스포머 기반 디코더 기술과 문자 인식을 위한 시각 특징의 분별력 향상을 위한 시각-언어 모델 기반 언어 컨텍스트 정보 연동 기술을 포함
본 기술은 이미지 장면 내 자동으로 텍스트를 이해하기 위한 SW 및 관련 기술로 문자 검출 및 문자 인식 모델의 학습 및 추론 코드, 그리고 기 학습된 모델을 포함하여 기술을 이전함
- 딥러닝 기반 문자 검출 기술
. 다양한 형태의 텍스트를 효과적으로 탐지하기 위한 bounding box 프로포절 추출
. 정교한 문자 영역을 추출하기 위한 polygon 생성 및 polygon 조정 기술을 통해 polygon 형태의 문자 영역 좌표와 신뢰도를 출력
- 딥러닝 기반 문자 인식 기술
. 문자 인식 정확도 향상을 위한 트랜스포머 기반 디코더 및 시각-언어 모델을 연동한 문자 인식 기술
. 검출된 문자 영역 이미지 입력으로 한국어, 영어, 숫자에 해당되는 문자 인식 결과와 신뢰도를 출력
기술 관련 제공 부문:
- 관련 소스 코드 및 프로그램
- 학습된 모델
- 기술문서
- 특허 실시권
- 본 기술은 이미지 장면에 존재하는 텍스트를 자동으로 이해하기 위해 문자 검출과 인식 기술을 포함하는 것으로 기본적인 use case에 대한 프로그램을 제공하고, 사업화 시나리오에 따라 추가 모델 학습(예: 다중 언어 학습, 기호를 포함한 학습 등), 전달되는 모듈 기술을 바탕으로 새로운 파이프라인을 구성하는 등의 추가 기술 개발이 필요함
- 본 기술을 활용하여 간판 또는 광고 텍스트 등이 포함된 이미지를 공유할 때 이러한 광고 정보를 자동으로 비식별화 처리하는데 활용할 수 있으며, 이미지 내 문자 분석을 통해 불법 광고물 인식 및 광고물 분석에도 활용이 가능함. 또한, 문자 검출 기술은 정교한 문자 분할의 기초 기술로 활용될 수 있으며, 문자 인식 기술은 전체 이미지 장면의 컨텍스트 정보를 이해하는 기초 기술로 활용될 수 있음