ETRI-Knowledge Sharing Plaform

KOREAN
논문 검색
Type SCI
Year ~ Keyword

Detail

Journal Article 멀티모달 딥러닝 모델을 이용한 실감효과 구간 검출
Cited - time in scopus Share share facebook twitter linkedin kakaostory
Authors
임정선, 한미경, 윤현진
Issue Date
2018-12
Citation
정보과학회논문지, v.45, no.12, pp.1250-1259
ISSN
2383-630X
Publisher
한국정보과학회 (KIISE)
Language
Korean
Type
Journal Article
DOI
https://dx.doi.org/10.5626/JOK.2018.45.12.1250
Abstract
일반 영화를 4D 영화로 변환하기 위해서 실감효과를 추가할 구간을 검출 할 필요가 있다. 이를 자동화하기 위해 본 논문에서는 시각적・청각적 특징을 이용하여 실감효과 구간을 검출하는 멀티모달 딥러닝 모델을 제안한다. 실감효과 여부를 분류하기 위해 오디오 기반 컨볼루션 순환 신경망과 비디오 기반 롱 쇼트-텀 메모리, 다층 신경망을 이용하였다. 오디오 기반 모델과 비디오 기반 실감효과 분류 모델을 특징값-단계에서 결합하였다. 또한, 대화 구간에서는 실감효과가 잘 나타나지 않는다는 점을 이용하여 오디오 기반 컨볼루션 신경망 모델을 이용하여 비대화 구간을 검출하고, 앞서 획득한 실감효과 분류 모델 결과와 스코어-단계에서 결합하였다. 마지막으로, 입력 윈도우 구간의 예측 스코어를 이용하여 전체 영화의 연속된 실감효과 구간을 검출하였다. 실제 4D 영화를 이용한 실험을 통해 시각적・청각적 특징을 모두 사용한 멀티모달 딥러닝 모델이 유니모달 딥러닝 모델에 비해 높은 검출 성능을 보여주는 것을 확인하였다.