본 기술이전은 사람이 포함된 이미지에서 사람의 세부 상태인 관절 위치를 딥러닝 기반의 방식으로 자동으로 인식하여 포즈를 추정하고 이를 이용하여 이미지 내 사람이 갖는 단위 행동을 이해하는 기술이며 자세한 내용은 아래와 같음.
□ 딥러닝 기반의 포즈 추정 및 행동 이해
다양한 시각 컨텐츠에서 사람의 이해는 영상 이해의 응용 중에서도 가장 유용한 이해 기술임. 본 기술은 이미지 입력에서 사람이 존재하는 영역을 확인 후 사람을 구성하는 관절 좌표를 추정하고 이와 이미지 입력을 활용하여 사람이 취하고 있는 단위 행동을 추정함. 본 기술은 사람이 포함된 이미지 이해를 기본으로 함. (사람이 포함되어 있는지의 여부는 오픈소스를 활용한 기능의 정합은 기술을 지원)
하나의 네트워크 구조를 이용하여 사람의 관절을 추정하고, 이 정보와 원본 이미지로부터의 정보가 결합되어 최종 행동 이해 결과를 얻어냄으로서 연산의 효율 및 리소스의 효율성을 갖는 구조로 구성됨.
o 이미지 내 사람의 포즈와 행동은 시각지능 연구에서 원천성을 가지면서 응용에서도 중요한 기술임.
o 기존의 독립된 포즈 이해 기술이나 행동 이해 기술은 각기 연관이 있음에도 독립된 구조로 설계되어, 비효율성이 있음.
- 각 기능을 데이터셋의 차이로 각각의 모듈이 독립적으로 구성되는 경우가 많지만, 단위 행동을 이해하는데 포즈는 중요한 정보를 제공할 수 있음.
o 본 기술은 사람의 관절 정보와 단위 행동 이해 모듈을 결합시키는 방법을 제안
- 하나의 백본 네트워크를 통과하여 관절에 대한 특성맵과 사람의 행동에 대한 특성 맵을 함께 활용하는 구조로 설계
- 단위 행동을 인지하는데도움을 줄 수 있는 관절 정보와 이미지 정보를 함께 활용할 수 있는 방법으로 CCTV와 같이 실세계 행동이해 응용에도 적합
o 딥러닝 기반의 포즈 추정 및 행동 이해 기술
- 하나의 백본 네트워크로 포즈 추정과 행동 이해 모듈을 지원
- 관절 영역이 강조된 인식기술로 포즈 기반의 단위 행동 이해가 가능
가. 기술이전의 내용 : 딥러닝 기반의 포즈 및 행동을 이해하기 위한 SW 및 관련 기술로 인식 및 시각화 기술을 포함하여 추진하며, 다음의 기술들을 이전함
- 딥러닝 기반의 사람 포즈와 단위 행동을 판단하는 엔진
. 사람이 포함된 이미지에서 사람의 관절 위치를 탐지하는 기술
. 추정된 관절 위치 정보를 함께 활용하여 단위 행동을 인식하는 기술
. 위 두 기술에 대한 출력을 지원하는 모듈 (파일 출력, 시각화된 출력)
나. 기술이전의 범위
o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과
- 특허
. 도메인 적응 기반 객체 인식 장치 및 그 방법
. 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
. 동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석 기반 가변 배경 학습 방법 및 시스템
- 기술문서
. 의미 영역 분할을 위한 기술 설명서
. OpenPose 활용 방법
. 사람 속성 탐지를 위한 기술 설명서
. 단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향
- 프로그램
. 의미영역 분할을 위한 변화 탐지 프로그램
. 시간적 행동 탐지를 위한 행동 프로포절 생성 프로그램
o 본 기술은 사람이 포함된 이미지에서 딥러닝 기반으로 사람의 관절 좌표를 찾아 포즈를 인식하고, 이를 함께 활용한 행동 이해 기능을 제공. 각 요소 기술은 여러 영상 환경에서 적용될 수 있고, 다음의 시나리오로 확장될 수 있음. 본 기술은 학습에 활용된 기정의된 행동만을 인식할 수 있으므로, 사업화에 필요한 추가적인 기술 개발이 필요함
1. CCTV 이벤트 분석 및 검색: 감시 영상에서 사람과 행동에 집중하여, 이벤트 요약 및 주요 사건 검색을 지원하는 기술 분야
2. 고령자 상태 및 행동 분석: 사람 포즈 기반의 기술로서 쓰러짐 등과 같은 위험 상태를 탐지하고 분석하는 기술 분야