ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

방송 콘텐츠의 장면 및 메타데이터 자동 생성 저작 기술

전수책임자
김선중
참여자
김상권, 김선중, 김승희, 박원주, 손정우, 이상윤, 이현우
기술이전수
2
이전연도
2017
협약과제
17HR2700, 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시청상황 적응형 스마트방송 기술 개발, 김선중
본 기술은 방송 콘텐츠를 대상으로 저작 도구를 이용하여 샷과 장면을 자동 분할하고 방송 콘텐츠에서 추출한 자막을 기반으로 생성한 장면 단위의 토픽을 이용하여 미디어 커머스, VOD 클립 서비스, 또는 다른 부가 정보 결합 서비스 응용이 가능한 기술임.
최근 방송 프로그램을 이용한 콘텐츠 시장은 포화 상태에 이르러 성장이 둔화되고
있으며, 방송 프로그램의 메타데이터를 활용한 신규 시장이 부각됨으로써 메타데이
터의 중요성이 점차 증대하고 있음.

- 메타데이터를 기반으로 한 PPL 시장이 확대되고 있을 뿐만 아니라, 세컨드 스크린
을 이용한 미디어 커머스 시장이 새로운 시장으로 각광받기 시작했음.

- 따라서, 충분한 메타데이터 공급에 대한 필요성이 제기되고 있으나, 현재까지는 인
력에 의해 수동으로 메타데이터를 생성하거나 입력하고 있는 점이 문제점으로 인식
되고 있어, 이를 자동화하기 위한 기술이 주요 이슈로 대두됨.

- 본 기술은 상기 문제점을 해결하기 위해 방송 프로그램을 장면 단위로 자동으 로 분할함. 이때, 샷에 포함된 자막, 영상 특징, 오디오특징을 자동 결합/분석하여 다양한 특징을 활용한 장면 생성이 가능함.

- 본 기술은 분할된 장면에 포함된 자막을 분석하여 장면에 결합된 토픽 기반의 메타 데이터를 자동 생성함으로써 메타데이터 생성 및 태깅을 자동화 가능하게 함. 또한 장면에 결합된 토픽 기반으로 의미적으로 유사한 장면을 제공 가능함.

- 본 기술은 분할된 장면에서 표출되는 키워드와 키워드 간의 관계 정보를 포함한 스 토리 그래프를 자동 생성하고, 이들 그래프 간 유사도를 바탕으로 대상 장면에 대 한 유사한 장면을 제공할 수 있음.

- 본 기술은 샷 분할, 장면 생성, 메타 데이터 생성, 서버 저장 과정을 저작 도구를
통해 일괄적으로 수행할 수 있는 기술을 제공함
- 본 기술은 색상 정보, 모션 등 영상정보, 오디오정보, 텍스트 정보로 대표되는 정보들을 여러 카테고리로 묶고 이들 간의 정보를 공유하도록 하여 다양한 정보를 동시에 활용하여 장면을 자동으로 분할함. 또한, 스토리 그래프를 이용하여 의미적으로 연관된 장면들을 다단계로 클러스터링 할 수 있음.
- 본 기술은 방송 프로그램을 대상으로 메타데이터를 생성함에 있어서, 사람의 직접적인 입력을 거치지 않고, 방송 프로그램에 포함된 자막을 분석하여 기계적으로 메타데이터를 자동으로 생성함.
- 본 기술은 프로그램이 방영된 후에, 시청자로부터 생성된 웹 데이터를 수집하여 기존 토픽을 확장하는 장점이 있고, 한 장면을 시청한 후에 다른 콘텐츠의 유사한 장면을 제공해 줄 수 있음. 또한, 토픽 모델 삭제/재생성을 위한 토픽 모델 부분 학습이 가능함.
- 또한, 본 기술은 방송 프로그램 전체가 아닌, 장면 단위로 자막을 분석하여 장면마다, 장면과 연계된 토픽 정보를 태깅할 수 있다는 점이 큰 특징임.
① 세부 기술명 : 방송 콘텐츠 자동 클러스터링 저작 도구 기술
- 저작 도구 기반의 방송 콘텐츠의 이미지, 오디오 특성을 이용한 샷 자동 분할 기능
- 저작 도구 기반의 샷 단위의 이미지, 오디오, 자막 등의 특징 정보 자동 추출 기능
- 저작 도구 기반의 다중 특징 기반 방송 콘텐츠 장면 분할 기능
- 저작 도구 기반의 장면 내 스토리 그래프 생성 기능
- 저작 도구 기반의 스토리 그래프 기반 시맨틱 클러스터 정보 생성 기능

② 세부 기술명 : 방송 콘텐츠 메타데이터 자동 생성 및 서비스 저작 도구 기술
- 저작 도구 기반의 방송 콘텐츠 자막 기반 장면 메타데이터 자동 생성 기술
- 저작 도구 기반의 웹 데이터 기반 장면 메타데이터 자동 확장 기술
- 저작 도구 기반의 장면 토픽의 유사도 기반 유사 장면 제공 기술
- open API를 통한 융합형-메타데이터 검색 기능
- 웹 기반의 장면 동영상 클립 재생을 위한 스트리밍 서버 기능
- 저작 도구 기반의 장면 단위 동영상 클립 및 메타데이터 DB 구축 기능
① 세부 기술명 : 방송 콘텐츠 자동 클러스터링 저작 도구 기술
- 시스템 요구사항 정의서 1종
- 구조기능 설계서 1종
- 장면 저작 도구 기반 샷 특징 정보 추출기 상세설계서 1종
- 장면 저작 도구 기반시맨틱 클러스터 상세설계서 1종
- 장면 저작 도구 기반 샷 특징 정보 추출기 시험 절차 및 결과서 1종
- 장면 저작 도구 기반 시맨틱 클러스터 시험 절차 및 결과서 1종
- 샷 특징 추출 블록 Ver. 2.0 프로그램 1종
- 시맨틱 클러스터 ver 3.0 프로그램 1종
- 분산형 장면 저작 도구 프로그램 1종


② 세부 기술명 : 방송 콘텐츠 메타데이터 자동 생성 및 서비스 저작 도구 기술
- 시스템 요구사항 정의서 1종
- 구조기능 설계서 1종
- 장면 저작 도구 기반 융합형-메타데이터 상세 설계서 1종
- 개방형 미디어 기반 서버 상세 설계서 1종
- 장면 저작 도구 기반 융합형-메타데이터 시험 절차 및 결과서 1종
- 개방형 미디어 기반 서버 시험 절차 및 결과서 1종
- 융합형-메타데이터 자동 생성 프로그램 Ver. 3.0 1종
- 노드제이에스 프레임워크 기반 개방형 스마트 미디어 기반 서버 프로그램 1종
- 분산형 장면 저작 도구 프로그램 1종
- 본 이전기술은 미디어 커머스, 정보 검색, 지식 검색의 일부 모듈로의 적용이
가능하기에 본 기술이 진출 가능한 시장은 미디어 커머스 뿐만 아니라, 정보 검색
포탈 사이트, 콘텐츠 추천, 상품 검색, 맞춤형 광고 산업 등이 있음

- 본 기술의 주요 수요처는 방송 사업자, 콘텐츠 사업자, 광고 사업자, 플랫폼 사업
자 등 소수의 대기업과 다수의 중소기업들로 구성되어 일정 수준의 수요처 확보가
가능할 것으로 판단됨

? 이전기술의 적용시 초기 투자비용이 많지 않고, 특히 국내에는 스마트 미디어의
관심 및 개발 지원 등 국가적 지원과 기술개발 인프라가 비교적 잘 갖추어져 있
고 방송 관련 사업자들이 큰 관심과 사업화 의지가 있기에 상용화의 가능성이
높을 것으로 보임

- 이전기술은 방송 자막을 기반으로 토픽 자동 생성을 목표로 하고 있으나, 이외에
SNS 정보 분석을 통한 토픽 생성, 언론 기사 분석을 통한 토픽 생성, 블로그 등의
웹데이터 분석을 통한 토픽 생성 응용이 가능함

- 본 기술의 상용화시 스마트 미디어 커머스 시장을 활성화시킬 수 있고, 인력 대신
기계적인 장면 분할 및 메타데이터 생산으로 제조 원가 절감을 통한 가격경쟁력 향상이 기대됨