ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Deep learning based scene segmentation technology v2.0

Manager
Kim Sun-Joong
Participants
Kwak Chang Uk, Kim Sang Kwon, Kim Sun-Joong, Park Jong-Hyun, Jeongwoo Son, Hyun-Woo Lee, Lee Alex, Han Min-Ho, Hahm Gyeong-June
Transaction Count
1
Year
2020
Project Code
19ZH1300, Development of programmable interactive media creation service platform based on open scenario, Park Jong-Hyun
20ZH1200, The research of the fundamental media·contents technologies for hyper-realistic media space, Lee Tae Jin
본 기술은 구축된 학습 데이터를 이용하여 학습된 장면 분할 모델과 행위 인식 모델을 기반으로 입력된 동영상에 대한 샷 분할, 샷의 특징 추출, 장면 경계 계산을 통해 영상 콘텐츠에 대한 자동화된 장면 생성에 필요한 기반 기술임.
본 기술은 샷 단위로 추출된 특징 정보와 장면의 경계 여부를 의미하는 레이블 데이터를 기반으로 장면 경계를 검출하는 인공지능 모델을 학습하고, 학습된 모델을 이용하여 장면을 분할하는 기술임.
본 기술은 샷 단위 영상에서 사람 혹은 객체의 움직임을 분석하여 다수의 행위를 인식할 수 있는 인공지능 모델 학습 기술을 포함함.
본 기술은 샷의 키프레임을 기반으로 샷의 카테고리 정보, 샷내 장소 및 시간 벡터를 생성하는 인공지능 모델을 포함함.
- 최근 영화, 방송 콘텐츠 등 좋은 품질의 콘텐츠가 대량 생산되고 있고, 이를 사용하여 신규 응용 서비스를 개발함으로써, 신규 수익을 창출하려는 다방면의 시도가 계속되고 있음.
- 이를 위해, 휴대용 기기 등에서 재생할 수 있는 짧은 길이의 영상 생성에 대한 요구가 높아지고 있음. 현재까지 대부분의 클립 서비스는 사람에 의해 수동으로 분할된 영상 클립을 이용하고 있으며, 이에 소요되는 비용이 큰 상황임. 따라서 더 많은 콘텐츠를 기반으로 다양한 서비스 개발을 위한 자동화된 도구 개발이 시급함.
- 자동화된 도구를 통한 장면 분할을 위해서는 콘텐츠를 최소 의미 단위인 샷으로 분할하고, 이를 결합하여 장면을 생성하는 기술이 요구됨. 다양한 영상 콘텐츠의 장르, 촬영 기법 등을 고려하면, 분할 규칙과 같은 경험적인 방법의 한계가 뚜렷하며, 이를 해소하기 위해서는 데이터로부터 장면 경계를 자동으로 학습하여 새로운 영상을 자동 분할 할 수 있는 기술 개발이 필요함.
- 본 기술은 영상의 다양한 특징을 기반으로 장면 분할을 하기 위한 새로운 구조의 딥러닝 모델을 포함하고 있으며, 대량의 태깅된 영상 콘텐츠를 이용한 모델을 학습하는 기능을 제공함.
- 본 기술은 샷의 저수준 특징(색상, 오디오신호 등)뿐만 아니라, 샷의 카테고리 정보 (클로즈업, 와이드, 숄더 샷 등), 장소 및 시간정보, 행위 정보등 고수준의 의미 정보를 자동 추출하고 장면 분할을 위한 특징으로 활용함.
- 본 기술은 구축된 학습 데이터를 이용한 행위 인식이 가능한 딥러닝 모델을 학습하고 생성하는 기능을 제공함.
- 본 기술은 학습된 모델의 관리 및 활용을 위한 웹 기반 인터페이스를 제공함.
<기술이전 내용>
- 영상 콘텐츠의 샷 분할 및 특징 추출 기능
- 샷 단위 카테고리 및 행위/시간/장소/객체 정보 추출 기술
- 장면 분할 모델 학습 기능
- 대용량 데이터를 기반으로 학습된 장면 분할 딥러닝 모델을 이용한 장면 분할 기능
- 웹 기반의 영상 콘텐츠 장면 분할 관리 기능
- 장르/서비스 등 타겟 콘텐츠에 대한 장면 분할 모델 업데이트 기능

<기술이전 범위>
- 인공지능 기반 동영상 장면 분할 기술 v2.0 시스템 요구사항 정의서 1종
- 인공지능 기반 동영상 장면 분할 기술 v2.0 시험 절차 및 결과서 1종
- 인공지능 기반 동영상 장면 분할 기술 v2.0 프로그램 4종
● 장면 분할 모델 학습기 4.0
● 영상 콘텐츠의 자동 샷 분할 및 특징 추출기 2.0
● 인공 지능 기반 영상 콘텐츠 장면 자동 분할기 2.0
● 장면 분할 웹 인터페이스 3.0
- 본 기술은 모든 영상 콘텐츠의 분할에 적용 가능하여, 방송 및 영화 콘텐츠 기반의 미디어 커머스, 클립 서비스, 콘텐츠 검색 및 추천, 교육용 콘텐츠 생성 등 미디어 서비스 분야뿐만 아니라, CCTV 영상 저장 및 요약을 위한 분할 등 보안 서비스에도 적용이 가능함.
- 본 기술의 주요 수요처는 콘텐츠 사업자, 플랫폼 사업자 등 소수의 대기업과 다수의 중소기업들로 구성되어 일정 수준의 수요처 확보가 가능할 것으로 판단됨