ETRI-Knowledge Sharing Plaform

KOREAN
논문 검색
Type SCI
Year ~ Keyword

Detail

Conference Paper 인물 재식별을 통한 동영상 설명 고도화 시스템 설계 및 구현
Cited - time in scopus Share share facebook twitter linkedin kakaostory
Authors
임지연, 이남경
Issue Date
2023-06
Citation
한국방송·미디어공학회 학술 대회 (하계) 2023, pp.446-448
Publisher
한국방송·미디어공학회
Language
Korean
Type
Conference Paper
Abstract
본 논문에서는 기존 기술에서 제공하는 동영상 설명에 대한 정보를 추가하여 인물 재식별 방법을 제안하고 구현한다. 기존의 동영상에서 인물에 대한 정보는 주로 성별이나 연령을 식별하고 추출하는 태스크가 주를 이루었다. 그 중에서도 줄거리(narrative)를 포함하는 영화나 드라마 등 동영상 데이터를 다루는 경우에는 특정 인물 식별을 위한 연구가 수행되었다. 그러나 이러한 연구는 얼굴에 대한 저작권 문제로 인해 데이터 확보가 어렵고, 유명인 등의 얼굴 데이터를 확보하였다고 하더라도 같은 배우가 다수의 동영상에서 다양한 역할에 대한 분장을 하는 경우 식별이 어렵다는 단점이 있다. 따라서 본 연구에서는 단일 동영상에만 국한하여 인물 정보를 추출하는 것으로 태스크의 범위를 제한하고, 장면 전환 등 동영상의 맥락이 변화할 때 이전에 등장했던 인물이 재등장하는 정보를 동영상에 생성된 설명에 추가하는 것을 목적으로 한다. 본 연구에서는 긴 동영상을 장면 단위로 분할하여 설명을 생성한 다음, 서로 다른 장면에서 동일한 인물이 등장하면 설명에 동일한 인물이 나타나는 정보를 추가하는 방식으로 인물 재식별 기능을 구현한다. 구현한 기능에 대해서는 국내 A 드라마를 대상으로 인물 재식별 결과를 도출하는 실험을 수행하였다. 도출된 결과를 통해 동영상에 등장하는 다수의 인물을 구분하며, 각 인물의 맥락 즉, 인물의 등장 빈도와 등장 시간 등을 파악할 수 있음을 확인하였다. 이러한 시스템은 동영상에서 단순히 특정 인물 등장 여부를 검색하는 것뿐 아니라 특정 인물에 대한 맥락 정보를 포함한 인물 검색 등에 활용할 수 있을 것으로 기대된다.