본 기술이전은 딥러닝 기술을 활용하여 사람의 상태를 이해하기 위한 기술로 객체 탐지 및 분할 기술, 사람 관절 추정 기술, 쓰러진 사람 탐지 기술로 구성되며, 기술의 활용도에 따라 사람 인식 기술 또는 사람 상태 이해 기술로 활용될 수 있음
□ 객체 탐지 및 분할 기술
영상 내 객체의 위치를 탐지하고 분류를 수행하는 기술로 영상 내 존재하는 다수의 객체를 동시에 위치 탐지 및 분류를 수행하기 위해 특징을 추출하는 백본 네트워크와 추출된 특징맵을 활용하는 검출헤드로 구성됨
또한, 객체 분할 기술은 이미지/동영상 내 존재하는 사물(instance)들의 윤곽을 기준으로 픽셀단위로 분류하는 기술임
□ 사람 관절 추정 기술
사람 관절 추정 기술은 객체 탐지 기술을 확장하여 사람에 집중된 기술로서, 먼저 영상에서 사람의 위치를 찾은 이후에 각 관절에 대한 위치를 알려주는 기술
□ 쓰러진 사람 탐지 기술
쓰러진 사람 탐지 기술은 객체 인식 기술을 확장 변형한 기술로 사람의 위치 정보와 함께 사람의 관절 추정 정보, 사람의 상태 정보를 동시에 알려주어 쓰러진 사람을 탐지하는 기술
- 객체 탐지 및 분할 기술
. 이미지/동영상에서 등장하는 객체의 위치와 종류(80종)를 빠르게 인식하고 인식된 객체를 픽셀 단위로 분할하는 기술
. 영상에서 객체를 탐지하고 픽셀단위로 분할하는 기술로 본 기술을 확장하여 객체 분할뿐만 아니라 배경까지도 분할이 가능하여 자율주행 기술에 활용이 가능
- 사람 관절 추정 기술
. 탐지된 사람 객체에 대하여 사람의 관절 정보를 추정하는 기술
. 사람 관절을 이용한 응용 기술 (예, 운동 자세 교정 기술) 등에 다양하게 활용 가능
. 압축된 정보로서 사람 행동 이해 기술의 기초 정보로 활용 가능 (예, 손 주변 물체 탐지, 사람 중 누워있는 사람 탐지 등)
- 쓰러진 사람 탐지 기술
. 탐지된 사람 위치 정보를 이용하여 사람의 관절 정보와 객체 범위를 파악하고 이를 바탕으로 쓰러진 사람의 상태를 이해하는 기술
. 탐지된 사람의 상태 정보를 활용하여 쓰러진 사람과 같이 위급한 상태의 사람을 파악하고 해당 사람의 위치를 조기에 알리는 용도로 활용 가능
- 객체 탐지 및 분할 기술
. 이미지/동영상에서 등장하는 80종의 객체를 탐지하고 탐지된 객체를 픽셀 단위로 분할하는 기술
. 객체 탐지는 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
. 공간적인 주목 (attention) 기법을 이용한 분할 성능 개선 기술 적용
- 사람 관절 추정 기술
. 객체 탐지 기술을 확장하여 사람의 자세를 인식하기 위해 활용되는 기술
. 사람 위치 탐지 후, 이를 기준으로 사람의 관절 위치와 신뢰도를 추정하는 기술
- 쓰러진 사람 탐지 기술
. 객체 탐지된 사람과 분할 결과, 사람 관절 추정 결과를 종합적으로 활용하여 사람의 상태를 이해하는 기술
. 사람의 상태 이해 결과 이외에도 사람 관절 정보와 픽셀 단위로 분할된 세그멘테이션 정보도 같이 제공하여 사람과 관련된 여러 종합적인 정보를 동시에 파악할 수 있음
이미지/비디오에서 딥러닝 기반으로 사람의 상태를 이해하고 판단하기 위한 SW 및 관련 기술로 객체 탐지 및 분할 기술, 사람 관절 추정 기술, 쓰러진 사람 탐지 기술을 포함하여 기술을 이전함
- 객체 탐지 및 분할 기술
. 객체와 배경을 분리하여 객체의 분류와 위치를 추정하는 기능
. 80종류의 객체를 검출하기 위한 학습된 모델 웨이트
. 객체와 배경을 분리하여 객체의 분류와 위치 및 위치에 해당되는 영역을 분할하는 기능
. 80종류의 객체를 분할하기 위한 학습된 모델 웨이트
- 사람 관절 추정 기술
. 사람 탐지에 특화되어 사람의 관절 위치를 찾아주는 탐지기를 포함한 기술
. 탐지된 사람을 기준으로 각 관절의 위치와 신뢰도값 출력
- 쓰러진 사람 탐지 기술
. 사람의 위치 탐지, 세그멘테이션 분할 정보, 사람 관절 추정을 모두 포함하여 쓰러진 사람을 탐지하는 사람 상태 이해 기술
. 6가지의 사람의 상태 (Lying, Crouch, Sitting, Walking, Standing, Running) 검출 가능
. 탐지된 사람을 기준으로 사람의 상태를 파악하여 출력하는 기술
. 다중 태스크 학습을 통해 인식 성능을 높이는 학습 방법
o 기술 관련 제공 부문:
- 관련 소스 코드 및 샘플 프로그램
- 학습된 모델
- 기술문서
- 시험 절차서 및 결과서
- 특허
. 객체 검출 시스템 및 방법
. 도메인 적응 기반 객체 인식 장치 및 그 방법
. 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법
. 전자 장치, 행동 인스턴스 생성 방법 및 기록 매체
. 객체 검출 모니터링 및 오류 수정 시스템 및 그 방법
. 뉴럴 네트워크 학습 장치 및 방법
- 기술문서
. 실시간 객체 검출 및 분할 기술
. 단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향
. COCO Style Annotation 생성 방법
. 사람 상태 이해 네트워크 설명과 실행 방법
- 프로그램
. 실시간 처리가 가능한 심층 신경망 네트워크 생성 프로그램
. 실시간 인스턴스 세그멘테이션 학습 및 추론 프로그램
. 사람 이미지에서의 사람 관절 위치 추정 프로그램
. 이미지에서 사람 상태 이해 프로그램
- 본 기술은 이미지/동영상에서 딥러닝 기반의 사람 상태 이해 기술은 다양한 응용 분야에서 활용이 가능한 기술로서 다음과 같은 시나리오를 고려할 수 있으며, 본 기술은 이미지와 동영상에서 사람을 검출하고 사람의 상태를 이해하는 기술에 최적화되어 있어 사업화에 필요한 추가적인 기술 개발이 필요함
1. 고령자 상태 및 행동 분석: 사람의 관절 추정 기술을 활용하여 쓰러짐 등과 같은 위험 상태를 탐지하고 분석하는 기술 분야
2. 쓰러진 사람 탐지: 실세계횡단 보도 또는 보행로에서 사람이 쓰러질 경우 이를 탐지하여 최대한 빨리 관제사에게 전달하는 지능형 감시 시스템으로 활용