본 기술은 영상의 구성 정보와 이를 기반으로한 지능적 미디어 시맨틱을 추출하는 기술로, 장면 단위 영상의 기본 구성 요소인 객체, 인물, 장소, 시간 등을 추출하는 기능과 추출된 구성요소를 기반으로 장면을 묘사하는 문장과 벡터를 생성하는 기능, 두 기능을 기반으로 장면을 검색하고 관리하는 기능을 포함한다.
본 기술은 세부기술1) 지능적 미디어 시맨틱 생성 및 검색 기술, 세부기술2) 영상내 얼굴 식별로 구성되어 있음
ㅇ 최근 영화, 방송 콘텐츠 등 좋은 품질의 콘텐츠가 대량 생산되고 있고, 이를 사용하여 신규 응용 서비스를 개발함으로써, 신규 수익을 창출하려는 다방면의 시도가 계속되고 있음
ㅇ 이를 위해, 서비스 단위의 영상을 사용자 혹은 관리자가 인지할 수 있는 형태로 태깅해야 하나, 이는 많은 시간과 비용이 소요됨. 따라서 자동 태깅을 위한 도구 개발이 지속적으로 요구되고 있음
ㅇ 본 기술은 영상 및 오디오의 다양한 특징을 기반으로 구성 요소를 자동 추출하고, 이들을 결합하여 장면 콘텍스트를 구축하는 새로운 구조의 딥러닝 모델을 포함하고 있으며, 대량의 태깅된 영상 콘텐츠를 이용하여 학습된 다수의 분석 모델이 포함되어 있음
ㅇ 본 기술은 영상 내에서 등징하는 인물을 자동 식별하고, 식별된 인물이 등장하는 영상을 검색하여 찾아주는 기능을 제공함
ㅇ 본 기술은 다수의 모델을 통해 추출된 미디어 시맨틱을 벡터 형상으로 저장하고, 저장된 벡터와 다중 모달리티의 사용자 질의를 매칭하여 사용자가 요구하는 적절한 영상을 제공하는 검색 기능을 제공함
- 세부기술1: 지능적 미디어 시맨틱 생성 및 검색 기술
. 미디어 영상 구성 요소 추출 기능
. 미디어 영상의 장면 단위 미디어 시맨틱 생성 기술
. 미디어 기반 지능적 미디어 시맨틱 생성 모델 학습 기술
. 미디어 분석 관리 기술
. 지능적 미디어 시맨틱 매칭 기술
. 다중 모달리티 질의 기반 미디어 영상 검색 기술
- 세부기술2: 영상 내 얼굴 식별 기술
. 인물샷 세그먼테이션 기술
. 얼굴 영역 및 특징값 추출 기술
. 유사얼굴 클러스터링 생성 기술
. 유사얼굴 클러스터링 기반 얼굴 검증 기술
- 지능적 미디어 시맨틱 추출 기술 시스템요구사항정의서 1종
- 지능적 미디어 시맨틱 추출 기술 시험절차결과서 1종
- 지능적 미디어 시맨틱 추출 기술 프로그램 7종
. 유사얼굴 클러스터링 기반 얼굴 식별기
. 추출 영상 기반 객체 식별기 2.0
. 장면 그래프 생성 프로그램 1.0
. 미디어 시맨틱 생성 모델 학습기 1.0
. 미디어 장면 시멘틱 생성기 1.0
. 트리형 근사 해법기반 멀티모달 비디오 검색 프로그램
. 미디어 시맨틱 생성 관리 프로그램 1.0
ㅇ 방송 및 영화 콘텐츠 기반의 미디어 커머스, 클립 서비스, 콘텐츠 검색 및 추천, 교육용 콘텐츠 생성 등 미디어 서비스 분야뿐만 아니라, CCTV 영상 저장 및 요약을 위한 분할, 패션 영상 분석 등 다양한 서비스에도 적용이 가능함
ㅇ 본 기술의 주요 수요처는 콘텐츠 사업자, 플랫폼 사업자 등 소수의 대기업과 다수의 중소기업들로 구성되어 일정 수준의 수요처 확보가 가능할 것으로 판단됨