ETRI-Knowledge Sharing Plaform

ENGLISH

성과물

논문 검색
구분 SCI
연도 ~ 키워드

상세정보

학술지 멀티모달 딥러닝 모델을 이용한 실감 효과 구간 검출
Cited - time in scopus Download 10 time Share share facebook twitter linkedin kakaostory
저자
임정선, 한미경, 윤현진
발행일
201812
출처
정보과학회논문지, v.45 no.12, pp.1250-1259
ISSN
2383-630X
출판사
한국정보과학회 (KIISE)
DOI
https://dx.doi.org/10.5626/JOK.2018.45.12.1250
협약과제
18ZH1100, 사물-사람-공간의 유기적 연결을 위한 초연결 공간의 분산 지능 핵심원천 기술, 손영성
초록
일반 영화를 4D 영화로 변환하기 위해서 실감효과를 추가할 구간을 검출 할 필요가 있다. 이를 자동화하기 위해 본 논문에서는 시각적?청각적 특징을 이용하여 실감효과 구간을 검출하는 멀티모달 딥러닝 모델을 제안한다. 실감효과 여부를 분류하기 위해 오디오 기반 컨볼루션 순환 신경망과 비디오 기반 롱 쇼트-텀 메모리, 다층 신경망을 이용하였다. 오디오 기반 모델과 비디오 기반 실감효과 분류 모델을 특징값-단계에서 결합하였다. 또한, 대화 구간에서는 실감효과가 잘 나타나지 않는다는 점을 이용하여 오디오 기반 컨볼루션 신경망 모델을 이용하여 비대화 구간을 검출하고, 앞서 획득한 실감효과 분류 모델 결과와 스코어-단계에서 결합하였다. 마지막으로, 입력 윈도우 구간의 예측 스코어를 이용하여 전체 영화의 연속된 실감효과 구간을 검출하였다. 실제 4D 영화를 이용한 실험을 통해 시각적?청각적 특징을 모두 사용한 멀티모달 딥러닝 모델이 유니모달 딥러닝 모델에 비해 높은 검출 성능을 보여주는 것을 확인하였다.