본 기술 이전은 스트리밍 비디오 처리를 목표로, 부분적으로 관찰된 고정 길이의 비디오 세그먼트를 입력으로 해서, 비디오 세그먼트의 마지막 프레임의 행동 클래스를 반환 하는 온라인 행동 탐지 기술에 관한 것임.
온라인 행동 탐지 기술은 스트리밍 비디오의 순차적 분석을 통한 행동이 발생하는 시간 구간을 찾는 기술로 무편집 비디오 분석, 이벤트 단위 비디오 분류, 이상 이벤트 탐지 등 다양한 비디오 기반 서비스에 활용될 수 있음
최근 딥러닝 기술의 발전에 따라 이러한 비디오 분석 기반 기술 선점과 다양한 서비스 도출이 논의되고 있으나 많은 비디오 기반 요소 기술과 개발 경험이 요구됨에 따라 기술 사업화에 어려움이 있는 것으로 알려져 있음
본 기술은 비디오의 높은 계산량을 줄이기 위한 RGB 프레임 기반 특징추출 기술과 스트리밍 비디오의 순차적 처리를 통한 행동 구간 탐지 기술을 포함하고 있음
- 스트리밍 비디오 처리가 가능한 온라인 행동 탐지
. 경쟁 기술은 대다수의 행동 탐지 기술이 비디오 파일 전체를 입력으로 오프라인으로 행동 발생 구간 탐지
. 본 기술은 온라인으로 처리가 가능하여, 스트리밍 비디오를 순차적으로 처리가 가능함
- 효율적인 온라인 행동 탐지
. 경쟁 기술은 대다수의 비디오 이해 기술들이 정확도만을 고려
1) RGB 외에도, 모션정보를 위한 optical flow를 별도 추출. 계산 부담이 커서 속도 저하의 주요인이 됨.
2) RGB와 추출한 optical flow를 모두 사용하는 Two-Stream 비디오 특징을 추출
. 본 기술은 속도와 정확도를 모두 고려하여,
1) RGB만 사용하는 경량 행동 인식 네트워크로 비디오 특징을 추출하여 사용
2) 기존 SOTA에 버금가거나 우수한 성능 획득
. THUMOS-14 데이터셋에 대해서, 기존 Two-Stream 비디오 특징을 사용한 기존 SOTA를 대비해 더 높은 정확도 성능 확보
- 탐지 가능 행동 카테고리의 확장성
. 경쟁 기술은 특정 행동의 탐지를 목표로 개발됨
. 본 기술은 정해진 학습/테스트 데이터가 존재하는 경우, 신규 행동 카테고리들에 대해서, 학습을 통해서 확장 가능함
온라인 행동 탐지 기술
- 특허 (실시권)
- 관련 소스 코드 및 학습된 모델
- 요구사항 정의서
- 시험 절차서 및 결과서
- 사용자 매뉴얼
본 기술은 RGB 프레임 기반 비디오 특징추출 및 스트리밍 비디오의 순차적 처리를 통한 행동 구간 탐지 기술을 포함하는 것으로 기본적인 use case에 대한 프로그램을 제공하고, 사업화 시나리오 및 행동 카테고리 추가에 따라 추가 모델 학습, 전달되는 모듈 기술을 바탕으로 새로운 파이프라인을 구성하는 등의 추가기술 개발이 필요함
1) 콘텐츠 분석 및 검색: 무편집 비디오 분석을 통해 이벤트가 발생하는 영역, 이벤트가 발생하지 않는 배경 영역을 판단하고 추후 이벤트가 발생한 영역만 축약하여 저장하거나 특정 이벤트 검색을 통해 이벤트가 발생하는 구간을 찾는 시나리오로 활용 가능
2) 지능형 영상 관제 시스템 활용: 스트리밍 비디오에 대한 온라인 분석을 통해 사전에 정의된 이상 상황 등 이벤트 발생 시 관제사에게 즉각 알림을 주거나 이벤트 로그를 기록하는 시나리오로 활용 가능