ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Deep Learning based Pose Estimation and Action Recognition

Manager
Bae Yu Seok
Participants
Kwon Yongjin, Hyungil Kim, Moon Jin Young, Park Jongyoul, Bae Kang Min, Bae Yu Seok, Sungchan Oh, Kimin Yun, Youngwan Lee, Jeun Woo Lee, Chung Young Sik, Jo Young Joo, Joong-Won Hwang
Transaction Count
1
Year
2019
Project Code
19ZS1100, Core Technology Research for Self-Improving Artificial Intelligence System, Hwa Jeon Song
본 기술이전은 사람이 포함된 이미지에서 사람의 세부 상태인 관절 위치를 딥러닝 기반의 방식으로 자동으로 인식하여 포즈를 추정하고 이를 이용하여 이미지 내 사람이 갖는 단위 행동을 이해하는 기술이며 자세한 내용은 아래와 같음.

□ 딥러닝 기반의 포즈 추정 및 행동 이해
다양한 시각 컨텐츠에서 사람의 이해는 영상 이해의 응용 중에서도 가장 유용한 이해 기술임. 본 기술은 이미지 입력에서 사람이 존재하는 영역을 확인 후 사람을 구성하는 관절 좌표를 추정하고 이와 이미지 입력을 활용하여 사람이 취하고 있는 단위 행동을 추정함. 본 기술은 사람이 포함된 이미지 이해를 기본으로 함. (사람이 포함되어 있는지의 여부는 오픈소스를 활용한 기능의 정합은 기술을 지원)

하나의 네트워크 구조를 이용하여 사람의 관절을 추정하고, 이 정보와 원본 이미지로부터의 정보가 결합되어 최종 행동 이해 결과를 얻어냄으로서 연산의 효율 및 리소스의 효율성을 갖는 구조로 구성됨.
o 이미지 내 사람의 포즈와 행동은 시각지능 연구에서 원천성을 가지면서 응용에서도 중요한 기술임.
o 기존의 독립된 포즈 이해 기술이나 행동 이해 기술은 각기 연관이 있음에도 독립된 구조로 설계되어, 비효율성이 있음.
- 각 기능을 데이터셋의 차이로 각각의 모듈이 독립적으로 구성되는 경우가 많지만, 단위 행동을 이해하는데 포즈는 중요한 정보를 제공할 수 있음.
o 본 기술은 사람의 관절 정보와 단위 행동 이해 모듈을 결합시키는 방법을 제안
- 하나의 백본 네트워크를 통과하여 관절에 대한 특성맵과 사람의 행동에 대한 특성 맵을 함께 활용하는 구조로 설계
- 단위 행동을 인지하는데도움을 줄 수 있는 관절 정보와 이미지 정보를 함께 활용할 수 있는 방법으로 CCTV와 같이 실세계 행동이해 응용에도 적합
o 딥러닝 기반의 포즈 추정 및 행동 이해 기술
- 하나의 백본 네트워크로 포즈 추정과 행동 이해 모듈을 지원
- 관절 영역이 강조된 인식기술로 포즈 기반의 단위 행동 이해가 가능
가. 기술이전의 내용 : 딥러닝 기반의 포즈 및 행동을 이해하기 위한 SW 및 관련 기술로 인식 및 시각화 기술을 포함하여 추진하며, 다음의 기술들을 이전함

- 딥러닝 기반의 사람 포즈와 단위 행동을 판단하는 엔진
. 사람이 포함된 이미지에서 사람의 관절 위치를 탐지하는 기술
. 추정된 관절 위치 정보를 함께 활용하여 단위 행동을 인식하는 기술
. 위 두 기술에 대한 출력을 지원하는 모듈 (파일 출력, 시각화된 출력)

나. 기술이전의 범위
o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과
- 특허
. 도메인 적응 기반 객체 인식 장치 및 그 방법
. 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
. 동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석 기반 가변 배경 학습 방법 및 시스템
- 기술문서
. 의미 영역 분할을 위한 기술 설명서
. OpenPose 활용 방법
. 사람 속성 탐지를 위한 기술 설명서
. 단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향
- 프로그램
. 의미영역 분할을 위한 변화 탐지 프로그램
. 시간적 행동 탐지를 위한 행동 프로포절 생성 프로그램
o 본 기술은 사람이 포함된 이미지에서 딥러닝 기반으로 사람의 관절 좌표를 찾아 포즈를 인식하고, 이를 함께 활용한 행동 이해 기능을 제공. 각 요소 기술은 여러 영상 환경에서 적용될 수 있고, 다음의 시나리오로 확장될 수 있음. 본 기술은 학습에 활용된 기정의된 행동만을 인식할 수 있으므로, 사업화에 필요한 추가적인 기술 개발이 필요함

1. CCTV 이벤트 분석 및 검색: 감시 영상에서 사람과 행동에 집중하여, 이벤트 요약 및 주요 사건 검색을 지원하는 기술 분야
2. 고령자 상태 및 행동 분석: 사람 포즈 기반의 기술로서 쓰러짐 등과 같은 위험 상태를 탐지하고 분석하는 기술 분야