기존의 비디오 이해 기술들 대부분이 등장하는 관심 객체에 대한 객체 탐지와 추적에 편중되어 있다, 그리고 제안된 이벤트 탐지 기술들은 비디오 특징을 이용해 특정 이벤트를 위한 분류기를 학습하여 이벤트를 탐자히가 때문에, 학습에 이용한 특정 비디오 데이터셋에 의존적이서 오늘날 SNS를 통해 유통되고 있는 다양한 종류의 이벤트를 포함하는 비디오들을 이해하기에는 부적합하다. 그리고 또, 단일 비디오에 대한 이해를 넘어 시공간 누적 분석을 위해서는 단일 비디오 처리 결과를 효과적으로 저장하고 조회하는 방법이 필요하다.
본 기술이전은 기본적으로 스트리밍 비디오 또는 여러 단일 비디오를 시공간적으로 누적하여 분석하기 위해 객체 탐지 및 추적 결과, 그리고 이벤트 탐지 결과를 시각지식화 하여 효과적으로 관계형 DB에 저장하고 검색하는 방법을 제공한다. 그리고 추가적으로, 구축된 시각지식 DB를 이용하여 질의 경로와 가장 유사한 경로를 제공하는 경로 검색 기능, 객체 탐지 및 추적 결과를 이용하여 객체들 간의 시공간 관계를 기반으로 특정 비디오 도메인에 국한되지 않은 범용 동사와 특정 객체 타입에 의해 구체화된 상세 동사를 탐지하는 동사 탐지 기능, 사람의 포즈 정보를 이용하여 실세계 동사인 쓰레기 투기를 탐지하는 투기 탐지 기능을 포함한다.
. 기존 대부분의 이미지/동영상 분석이 단일 비디오에 등장하는 주요 관심객체에 대한 객체 탐지 및 추적에 국한됨. 동영상에서 발생한 특정 이벤트를 탐지하는 방법들이 제안되어 있으나 비디오 특징을 이용해 학습하기에 학습에 이용한 비디오 데이터셋에 대한 의존도가 높음. 그리고, 단일 비디오가 아닌 비디오 스트림이나 여러 비디오 클립에 걸쳐 등장하는 객체나 이벤트들의 탐지 결과를 누적시키고 이를 효과적으로 조회하기 위한 방법이 부재.
- 객체 탐지 및 추적, 그리고 객체의 움직임에 의해 발생한 동사 탐지 결과를 지식화하고, 이를 누적하여, 효과적으로 조회할 수 있는 방법이 필요
- 누적된 시각 지식을 이용하면, 지능형 모니터링 기술에서 요구되는 특정 공간에서 질의 경로와 가장 유사하게 움직인 이전 경로들의 검색 결과 제공 가능.
- 특정 비디오 데이터셋에 의존적인 비디오 특징 자체를 학습하는 대부분의 비디오 이벤트 탐지 기술들은 현재 인터넷을 통해 소비되고 있는 다양한 이벤트를 포함하는 비디오의 의미를 이해하기에는 부적합. 객체 탐지 및 추적 결과를 기반으로 비디오 특징에 대한 의존도를 낮추고, 도메인 독립적인으로 객체 간의 시공간 관계를 기반으로한 범용 이벤트(예. 들어가다, GoInto(A,B))와 특정 객체 타입에 의해 결정되는 상세 이벤트(예. 사람이 차에 탑승하다, GetInto(Person, Car))를 탐지하는 동사 탐지 방법이 필요.
. 본 기술은 단일 비디오 클립에서 객체 탐지 및 추적 기술에서 한 단계 나아가, 여러 비디오 및 스트리밍 비디오의 객체 탐지 및 추적 결과를 시각 지식화해서 관계형 DB에 저장하고 조회하는 시공간 누적 검색 방법을 기본적으로 제공하고, 필요에 따라 누적된 시각 지식을 이용하는 경로 검색 기술, 객체 간의 시공간 공간 관계 기반의 동사를 탐지하는 기술, 더 나아가 객체 탐지 및 추적 결과가 아닌 사람의 포즈를 이용하여 실세계 동사인 쓰레기 투기를 탐지하는 기술을 추가적으로 제공
- 기본적으로, 단일 비디오에서 객체 탐지 및 추적, 동사 탐지 결과를 시각 지식화하여 DB에 저장하고 효과적으로 검색하는 방법 포함
- 누적된 시각지식 DB를 이용해 경로 검색과 같은 시공간 누적 분석 가능.
- 이벤트 특징이 아닌 1차적으로 가공된 객체 탐지 및 추적 결과를 이용해 여러 다른 장르의 비디오에 적용 가능한 동사 탐지가 가능.
- 더 나아가, 객체 탐지 및 추적 결과가 아닌 사람의 포즈를 기반으로 실세계 동사인 쓰레기 투기 동사의 탐지가 가능.
- (제1기술) 비디오 이해 결과 기반 시각지식 DB 구축 및 검색 기능: 동영상에서 객체, 동사를 인식한 결과를 정형화하여 데이터베이스에 저장하고, 객체, 동사 기반의 질의를 통해 원하는 장면을 검색
. 동영상에서 객체, 동사 인식 결과를 정형화하여 표현하는 기술
. 정형화된 객체, 동사 인식 결과를 시각지식 DB에 저장하는 기술
. 객체, 동사 기반으로 관련 장면 검색 기술
- (제2-1기술) 객체 움직임 기반 시공간 누적 경로 검색 기능: 동영상에 등장하는 객체들의 이동 경로를 대상으로 하여, 임의의 경로 질의에 대해 유사한 이동 경로를 단시간 내에 검색
. 경로 간 유사도를 빠르게 계산하는 기술
. 이동 경로 데이터에 대한 색인 구조를 구축하고, 빠르게 검색하는 기술
. 사용자 입력을 받아 시각지식 DB에 질의하고, 그 결과를 표시하는 기술
- (제2-2기술) 시공간 관계 기반 시각동사 탐지 기능: 비디오에 등장하는 객체들의 위치 및 크기 정보를 기반으로 객체 간의 시공간 관계를 추출하고, 시공간 관계를 기반으로 하는 범용 동사와 관련 객체의 조합에 따라 구체화된 상세 동사를 계층적으로 탐지하는 기능
. 각 객체들의 크기와 위치 정보로부터 객체 간의 시공간 관계를 추출하는 기술
. 시공간 관계를 조합하여 9개 범용 동사를 추론하는 기술
. 관련 객체의 조합에 따라서 특정 도메인에서 범용동사를 구체화시킨 6개 상세동사를 탐지하는 기술
- (제2-3기술) 실세계 동사 쓰레기 투기 탐지 기능: 실세계 투기 영상에서 객체의 행동과 객체 간의 연관성을 이용한 쓰레기 투기 탐지 기능
. 비디오에서 배경을 제거하고 변화 영역을 탐지하는 기술
. 사람의 손 좌표 근처에서의 물체 자동 추적 기술 및 실패 시 재 추적 기술
. 사람과 투기물의 관계를 모델링하여 관계가 변화할 때를 탐지하는 기술
. 사람의 포즈 정보를 활용한 자동 투기 탐지 기술
이미지/비디오에서 다양한 사물의 위치와 내용을 이해하고 판단하기 위한 SW 및 관련 기술로, 학습, 인식, 시각화의 기술을 포함하여 추진하며, 다음의 세부기술 “1. 비디오 이해 결과 기반 시각지식 DB 구축 및 검색 기능”, “2-1. 객체 움직임 기반 시공간 누적 경로 검색 기능”, “2-2. 시공간 관계기반 계층적 동사 탐지 기능”, “2-3. 실세계 동사 쓰레기 투기 탐지 기능”을 포함하고 있음
o 1세부 기술이전명: [비디오 이해 결과 기반 시각지식 DB 구축 및 검색 기능]
- 주어진 동영상에서 다양한 객체를 찾고, 동사를 탐지한 결과를 저장/관리/검색하기 위해, 시각지식 DB를 구축하고 객체, 동사 기반으로 원하는 장면을 검색하는 프로그램
- 시각지식 DB 구축 시 입력으로 동영상을 처리
- 시각지식 검색 시 입력으로 객체, 동사 기반의 사용자 질의를 처리하며, 출력으로 해당 질의와 관련된 장면에 대한 정보를 표시
- 객체 탐지 및 추적 결과 모듈이 없거나 사람이 직접 입력한 정확한 결과를 이용하고자 할 때를 위해, 객체 정보 annotation 저작도구 실행 프로그램 포함(실행 가능한 실행 파일만)
o 2-1세부 기술이전명: [객체 움직임 기반 시공간 누적 경로 검색 기능]
- 주어진 동영상에서 기 검출한 다양한 객체의 이동 경로들을 시각지식 DB에 저장되어 있을 때, 사용자가 임의의 경로를 그려서 질의하면 이와 유사한 이동 경로, 해당 경로로 이동한 객체, 해당 객체가 그 경로로 이동하는 동영상 내 구간을 검색하는 프로그램
- 입력으로 사용자가 임의로 그린 경로를 처리하며, 출력으로 질의 경로와 유사한 이동 경로, 해당 경로로 이동한 객체, 해당 객체가 이동하는 동영상 내 구간을 표시
o 2-2세부 기술이전명: [시공간 관계 기반 계층적 동사 탐지 기능]
- 주어진 동영상 내에 등장하는 주요 객체의 위치 및 크기 정보에 대해, 각 객체 간의 시공간 관계에 의해 발생하는 동사를 탐지하는 프로그램
- 입력으로 이미지와 동영상을 처리하며, 출력으로 검출된 사물의 이름을 표시
o 2-3세부 기술이전명: [실세계 쓰레기 투기 동사 탐지 기술]
- 주어진 동영상에서 사람의 관절 좌표들과 전경 탐지 기술을 활용하여 사람의 포즈, 그리고 사람과 객체와의 관계를 이용해서 쓰레기 투기 동사를 탐지하는 프로그램
- 입력으로 동영상을 처리하며, 출력으로 투기행위가 발생하는 시점을 알려줌
o 관련 소스 코드 외 샘플 데이터와 구동 프로그램
o 1세부에 포함된 객체 정보 annotation 저작도구 실행 프로그램(실행 가능한 실행 파일만)
o 시험 절차서 및 결과서
- 동사를 중심으로 동영상을 이해하고, 여러 비디오의 객체 및 동사 탐지 결과를 시공간으로 누적하여 분석하는 기술을 다양한 응용 분야에서 활용이 가능하지만, 다음의 2가지 시나리오를 고려하고 있으며, 본 기술은 시각지식 생성 및 검색, 시공간 누적 경로 검색, 범용 시각동사 탐지, 실세계 쓰레기 투기 탐지 기술에 최적화 되어 있어 사업화에 필요한 추가적인 기술 개발이 필요함
1. 방송 콘텐츠 분석 및 지능형 검색: 여러 에피소드로 구성되거나 중복된 출연자가 등장하는 대용량 방송 콘텐츠에 대해 객체 및 동사 탐지 결과를 시공간적으로 누적하여, 출연자나 이벤트 기반으로 검색 결과를 제공.
2. 감시 비디오에 대한 지능형 모니터링 기술: 스트리밍 감시 비디오의 사후 분석에 적합한 시각 지식 DB 구축 및 조회 방법 제공. 그리고 단순 객체 탐지 및 추적 이외에 객체 간의 인터랙션 기반 범용 및 특정 객체 타입에 의해 구체화되는 상세 시각동사 탐지 결과 제공 가능. 그리고 객체 탐지 및 추적 결과 없이 사람의 포즈를 활용한 실세계 동사 탐지가 가능.