딥러닝 알고리즘을 이용하여 대용량의 얼굴 데이터와 한국인 배우얼굴 DB를 사전 학습한 얼굴 인식기와 이를 기반으로 임의 저작물 영상 내 출현 배우들의 통계적 분석을 통하여 저작물을 식별할 수 있는 기술
ㅇ 핑거프린트(또는 콘텐츠 DNA) 기반 저작물 영상 식별 기술의 문제점을 보완할 수 있는 기술이 필요
- 저수준 신호 특징인 핑거프린트를 사전에 추출하여 DB화하기 위해서는 원본 데이터 확보와 불법 유통의 초기 대응에 문제점이 있음
- 기존의 핑거프린팅 기술은 인메모리 DB를 사용하므로 대규모 콘텐츠를 지원하기 위해서는 비용적인 측면과 성능적인 측면에서 문제점이 있음
ㅇ 동영상 재생 시 실시간으로 출연 배우를 인식할 수 있으며, 이를 이용한 해당 배우의 부가정보 제공이 가능하여 한류 콘텐츠 비즈니스 모델의 활용성 확장이 가능함
ㅇ 딥러닝 기반의 얼굴 인식 및 동영상 분석 엔진 최적화가 핵심기술로 주목. 최근 영화/TV드라마 뿐만 아니라 개인 창작 영상물 관리를 위한 해당 기술의 요구 증대
ㅇ 본 기술은 기존 핑거프린팅 기술의 한계인 DB에 포함되지 않은 저작물 영상에 대한 식별을 위해 영상 내 출연배우 얼굴의 통계 특성을 기반으로 배우 인식 및 저작물 식별이 가능함
ㅇ 딥러닝 기반 얼굴 인식 기술
- 얼굴 데이터 증강/전처리 기술 (얼굴영역 자동검출, 정렬, 다중 영역 생성)
- 딥러닝 알고리즘 기반 얼굴 특징 모델 생성 가이드
- 얼굴 파트별 추가 학습으로 인식 성능 향상 (눈, 코, 입 중심의 얼굴 추론 후 앙상블 적용)
- 입력 동영상에 대해 초당 1프레임씩 얼굴인식 결과에 대한 로그 생성
- 67개 영화 27,000 프레임 대상 얼굴 인식 정확도(300명 기준): 95.38% (Closed-set)
Open-set identification 수행 시, 137개 영화 51,000 프레임 대상 얼굴 인식 정확도(300명 기준): 90.95%(DIR at 5% FAR), 78.90%(DIR at 1% FAR)
ㅇ 배우 출현 확률 기반 저작물 식별 기술
- 저작물 영상 별 특징배우(Signature Actor) 집합 생성 기술
- 저작물 영상 내 배우별 출현 확률 계산
- 배우 출현 확률 기반 저작물 식별
- 특징배우 582명으로 식별 가능한 영화 수 834편 (2004년 이후 한국영화 1,019편 중 81.84%에 해당)
A. 기술명 : 딥러닝 기반 얼굴 인식 기술
- 얼굴 데이터 전처리 기술
- 딥러닝 알고리즘 기반 얼굴 특징 모델 생성 기술
- 파트별 얼굴 인식 및 앙상블 기술
- 얼굴인식 결과 로그 생성 기술
B. 기술명 : 배우 출현 확률 기반 저작물 식별 기술
- 저작물 영상 별 특징배우(Signature Actor) 집합 생성 기술
- 배우 출현 확률 기반 저작물 식별 기술
1세부 기술명 : 딥러닝 기반 얼굴 인식 기술
- 얼굴 데이터 전처리 프로그램
- 딥러닝 알고리즘 기반 얼굴 특징 생성 프로그램
- 딥러닝 알고리즘 기반 얼굴 특징 모델 (한국인 배우 600명)
- 동영상 대상 얼굴인식 결과 로그 생성 프로그램
- 웹기반 얼굴 인식 API
2세부 기술명 : 배우 출현 확률 기반 저작물 식별 기술
- 저작물 영상 별 특징배우(Signature Actor) 집합 생성 프로그램
- 배우 출현 확률 기반 저작물 식별 프로그램
1세부 단독으로 기술이전 가능(2세부 단독으로는 사용불가, 2세부 기술은 1세부 기술 포함하여 사용가능)
ㅇ 적용분야
- 저작물 영상 식별 및 모니터링 솔루션
- 얼굴 인식 기반 동영상 부가정보 제공 서비스
- 출연 배우 기반 동영상 검색 및 추천 시스템
- 한류 콘텐츠 내 배우 자동 인식 및 부가서비스 모델
ㅇ 기대효과
- 핑거프린트 기반 저작물 영상 식별 시스템의 초기 대응 문제 해결
- 사용자에게 선호하는 배우의 구간 검색과 자동 얼굴 인식을 통한 차별화된 동영상 제공 서비스 가능
- 다양한 동영상 제공 서비스 모델을 위한 환경 제공