ETRI-Knowledge Sharing Plaform

KOREAN
논문 검색
Type SCI
Year ~ Keyword

Detail

Journal Article 다양한 맥락에서의 캐릭터 이미지 생성을 위한 잠재 확산 모델 재학습
Cited - time in scopus Share share facebook twitter linkedin kakaostory
Authors
이상은, 채원석, 김현진
Issue Date
2024-02
Citation
정보과학회 컴퓨팅의 실제 논문지, v.30, no.2, pp.70-76
ISSN
2383-6318
Publisher
한국정보과학회
Language
Korean
Type
Journal Article
DOI
https://dx.doi.org/10.5626/KTCP.2024.30.2.070
Abstract
최근, 이미지 생성모델의 발전으로 시각 예술, 일러스트 이미지 제작을 포함한 다양한 분야에 생성모델을 접목하려는 시도가 증가하고 있다. 그 중, 웹툰 분야에서는 자동 채색, 배경 생성 등 노동집약적인 업무를 자동화하기 위하여 생성모델을 활용하는 연구가 이루어지고 있다. 본 연구에서는, 웹툰에 등장하는 캐릭터를 학습시켜, 학습 데이터에 존재하지 않는 새로운 맥락에서의 캐릭터 모습을 생성할 수 있는 기술을 제시한다. 이를 위해, 본 연구에서는 높은 이미지 생성 능력으로 널리 활용되는 잠재 확산 모델 중 하나인 stable diffusion을 두 웹툰 캐릭터 데이터셋을 이용해 재학습시켜 각 캐릭터에 대한 특징을 학습할 수 있도록 하였다. 그 후, 새로운 맥락에서의 캐릭터 이미지 생성 능력을 평가하기 위해서 학습 데이터에 존재하지 않는 표정, 외형, 시점, 행동 및 배경으로 나누어 각 경우의 캐릭터 이미지를 생성하도록 하였다. 결과적으로, 학습된 모델이 text-to-image, image-to-image의 두 가지 방법을 통해 새로운 맥락에서의 다양한 웹툰 캐릭터 이미지를 생성할 수 있음을 확인하였다.