ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Deep learning based video metadata generation technology

Manager
Kim Sun-Joong
Participants
Kwak Chang Uk, Kim Sang Kwon, Kim Sun-Joong, Park Jong-Hyun, Jeongwoo Son, Hyun-Woo Lee, Lee Alex, Han Min-Ho, Hahm Gyeong-June
Transaction Count
1
Year
2020
Project Code
19ZH1300, Development of programmable interactive media creation service platform based on open scenario, Park Jong-Hyun
20ZH1200, The research of the fundamental media·contents technologies for hyper-realistic media space, Lee Tae Jin
본 기술은 사용자가 업로드한 영상에 대해, 시스템이 해당 영상을 분석하여 임베딩 벡터 기반의 메타데이터를 생성하는데 목적이 있음.
본 기술은 영상에서 특징 정보 (객체, 행위, 장소, 시간)를 추출하여 영상 메타데이터 생성 모델을 학습하는 기능을 제공함.
본 기술은 학습된 모델을 기반으로 임베딩 벡터 기반의 메타데이터와 영상을 설명하는 지문(영상 description)을 생성하는 기능을 제공함.
본 기술은 온톨로지 기반으로 크라우드 소싱을 활용하여 메타데이터 정보를 확장할 수 있는 기능을 제공함.
- 최근, 영상 콘텐츠 만을 대상으로 한 서비스가 온라인 콘텐츠 공급 시장에서 큰 규모로 형성되고 있고, 시청자의 콘텐츠 소비에서 영상 비중이 확대되고 있음. 이에 따라 검색 대상이 되는 영상의 수가 기하급수적으로 증가하고 있음.

- 현재까지는 대부분의 영상 서비스 플랫폼에서 해시태그 또는 단어와 같은 키워드 기반의 메타데이터를 기반으로 검색이 이루어짐. 특히, 제목과 배우 이름 등 콘텐츠 공급자가 수동으로 태깅한 정보들을 기반으로 메타데이터를 구축하고 있으며, 이에 소요되는 비용이 큰 상황임. 따라서 다양한 영상 서비스 제공을 위해 자동화된 메타데이터 생성 기술 개발이 시급함.

- 자동화된 영상 메타데이터 생성을 위해서는 영상의 객체, 행위, 장소, 시간 등과 같은 영상 특징 정보를 추출하여 영상의 내용을 이해하고, 이를 메타데이터로 표현하는 기술이 요구됨. 이를 위해 영상을 특정 벡터로 잘 표현할 수 있는 모델을 학습하고 임베딩 벡터, 지문(영상 description) 등의 메타데이터를 생성할 수 있는 기술 개발이 필요함.
- ‘딥러닝 기반 영상 메타데이터 학습’기술은 20초 내외의 영상 클립을 입력으로 영상 특징 정보 (객체, 행위, 장소, 시간)를 추출하며, 이를 기반으로 딥러닝 기반의 영상 메타데이터 생성 모델을 학습하는 기술을 포함함.
- ‘딥러닝 기반 영상 메타데이터 생성’ 기술은 학습된 모델을 기반으로 영상이 포함하고 있는 의미 정보를 효과적으로 표현할 수 있는 임베딩 벡터 기반의 메타데이터 생성과 영상을 설명하는 지문 정보를 생성하는 기능을 제공함.
- ‘온톨로지 기반 메타데이터 확장’은 딥러닝 기반의 영상 분석을 통해 자동 생성된 메타데이터 이외에도 사용자가 정보 추가를 통해 메타데이터를 확장하고자 할 경우, 온톨로지를 기반으로 도메인 지식을 추가하는 기능과 미리 구축된 도메인 지식을 기반으로 수동 메타데이터를 태깅하는 기능을 제공함.
<기술이전 내용>
- 딥러닝 기반 영상 메타데이터 생성 모델 학습 기능
- 딥러닝 기반 영상 메타데이터 생성 기능
- 도메인 온톨로지 기반 영상 메타데이터 확장 기능
- 도메인 지식 구축 기능
- 도메인 지식 제공 기능

<기술이전 범위>
- 딥러닝 기반 영상 메타데이터 생성 기술 시스템 요구사항 정의서 1종
- 딥러닝 기반 영상 메타데이터 생성 기술 상세설계서 1종
- 딥러닝 기반 영상 메타데이터 생성 기술 시험절차 및 결과서 1종
- 딥러닝 기반 영상 메타데이터 생성 기술 프로그램 3종
? 딥러닝 기반 영상 메타데이터 학습기 1.0
? 딥러닝 기반 영상 메타데이터 생성기 1.0
? 도메인 지식 기반 장면 지식 생성 1.0
- 영상을 분석하여 영상 메타데이터를 생성하는 서비스
- 분석된 영상 메타데이터를 검색하는 영상 검색 서비스
- 영상 메타데이터를 기반으로 한 영상 추천 서비스
- 크라우드 소싱 방식으로 영상에 대한 메타데이터를 생성하는 서비스