본 기술이전은 객체 탐지 기술, 인스턴스 세그멘테이션 기술, 얼굴 비식별화 기술, 포즈 추정 기술, 구간 분할 기술, GAN을 활용한 얼굴 이미지 편집 기술로 구성되며, 기술을 활용처에 따라서 개별 영상 인식 기술 또는 백본 네트워크인 객체 탐지 기술을 이용한 딥러닝 기반 영상 인식 기술로 구성되어 있으며, 각각의 개요는 다음과 같음
- 세부기술 1. 객체 탐지 기술
. 이미지/동영상에서 등장하는 사물의 위치와 종류(80종)를 빠르게 인식하는 기술
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 2. 인스턴스 세그멘테이션 기술
. 객체 탐지 뿐만 아니라 탐지된 객체의 픽셀 단위 분할하는 기술
. 공간적인 주목 기법을 이용한 분할 성능 개선 기술 적용
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 3. 얼굴 비식별화 기술
. 이미지 내에 나타나는 얼굴이 방송 또는 온라인 등의 공개된 매체를 통해 개인
동의 없이 무분별하게 배포되는 것이 문제가 되고 있음.
. 얼굴 비식별화의 핵심기술인 얼굴검출 기술은 오랫동안 연구되어 왔으나, 얼굴
변형과 작은 얼굴 크기 등 여전히 해결해야 할 부분이 많음.
. 본 기술은 얼굴 비식별화 기능뿐만 아니라 안면인식의 기초 기술로 활용 가능함
- 세부기술 4. 포즈 추정 기술
. 탐지된 사람의 세부 포즈를 이해하면 사람 관절을 이용한 응용 기술 (예, 운동
자세 교정 기술) 등에 다양하게 활용 가능
. 압축된 정보로서 사람 행동 이해 기술의 기초 정보로 활용 가능 (예, 손 주변
물체 탐지, 사람 중 누워있는 사람 탐지 등)
- 세부기술 5. 구간 분할 기술
. 동영상 편집 혹은 데이터베이스화 등을 위해 동영상 내에서 장면 변화 시점을
자동으로 알려주는 기술은 응용 기술로서 유용하게 활용 가능
. 행동 이해 등의 다른 시각지능기술의 전처리 기술로서 활용 가능
- 세부기술 6. GAN을 활용한 얼굴 이미지 편집 기술
. 얼굴 이미지를 간단한 스케치와 컬러 입력으로 사용자의 의도에 맞춰 고퀄리티
수정된 이미지를 만들어 내는 기술
. 기존의 정형화된 입력이나 전문성을 요구하는 기술 대신 새로운 GAN & 딥 러닝
기법을 이용한 학습으로 자유롭고 간단한 입력에 대해서도 수정 이미지 퀄리티
개선되는 기술 적용
□ 기술이전의 목적 및 필요성
○ 각 세부기술별 목적 및 필요성은 다음과 같음
- 세부기술 1. 객체 탐지 기술
. 이미지/동영상에서 등장하는 사물의 위치와 종류(80종)를 빠르게 인식하는 기술
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 2. 인스턴스 세그멘테이션 기술
. 객체 탐지 뿐만 아니라 탐지된 객체의 픽셀 단위 분할하는 기술
. 공간적인 주목 기법을 이용한 분할 성능 개선 기술 적용
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 3. 얼굴 비식별화 기술
. 이미지 내에 나타나는 얼굴이 방송 또는 온라인 등의 공개된 매체를 통해 개인의 동의 없이 무분별하게 배포되는 것이 문제가 되고 있음.
. 얼굴 비식별화의 핵심기술인 얼굴검출 기술은 오랫동안 연구되어 왔으나, 얼굴의 변형과 작은 얼굴 크기 등 여전히 해결해야 할 부분이 많음.
. 본 기술은 얼굴 비식별화 기능뿐만 아니라 안면인식의 기초 기술로 활용 가능함
- 세부기술 4. 포즈 추정 기술
. 탐지된 사람의 세부 포즈를 이해하면 사람 관절을 이용한 응용 기술 (예, 운동 자세 교정 기술) 등에 다양하게 활용 가능
. 압축된 정보로서 사람 행동 이해 기술의 기초 정보로 활용 가능 (예, 손 주변 물체 탐지, 사람 중 누워있는 사람 탐지 등)
- 세부기술 5. 구간 분할 기술
. 동영상 편집 혹은 데이터베이스화 등을 위해 동영상 내에서 장면 변화 시점을 자동으로 알려주는 기술은 응용 기술로서 유용하게 활용 가능
. 행동 이해 등의 다른 시각지능기술의 전처리 기술로서 활용 가능
- 세부기술 6. GAN을 활용한 얼굴 이미지 편집 기술
. 얼굴 이미지를 간단한 스케치와 컬러 입력으로 사용자의 의도에 맞춰 고퀄리티의 수정된 이미지를 만들어 내는 기술
. 기존의 정형화된 입력이나 전문성을 요구하는 기술 대신 새로운 GAN & 딥 러닝 기법을 이용한 학습으로 자유롭고 간단한 입력에 대해서도 수정 이미지 퀄리티가 개선되는 기술 적용
이전기술의 특징 및 장점은 기존 기술보다 뛰어난 성능과 오류 감내 수준의 향상에 있으며, 각각의 기술 특징은 다음과 같이 정리함
- 세부기술 1. 객체 탐지 기술
. 이미지/동영상에서 등장하는 사물의 위치와 종류(80종)를 빠르게 인식하는 기술
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 2. 인스턴스 세그멘테이션 기술
. 객체 탐지 뿐만 아니라 탐지된 객체의 픽셀 단위 분할하는 기술
. 공간적인 주목 기법을 이용한 분할 성능 개선 기술 적용
. 효율적인 백본 네트워크가 적용되어 실시간 처리가 가능
- 세부기술 3. 얼굴 비식별화 기술
. 다양한 스케일의 특징을 추출하는 백본 네트워크 활용을 통해 향상된 얼굴검출 및 비식별화가 가능
. 기본적으로 얼굴 비식별화 기능으로 개발되었으나 경우에 따라 비식별화 없이 얼굴검출 기능만 활용할 수 있으며, 특정 인물을 제외한 얼굴 비식별화 기능으로 활용될 수 있음
- 세부기술 4. 포즈 추정 기술
. 객체 탐지 기술의 변형으로 사람에 집중된 기술
. 사람 위치 탐지 후, 이를 기준으로 각 관절 위치와 신뢰도를 추정하는 기술
- 세부기술 5. 구간 분할 기술
. 입력 이미지를 Sparse sampling을 통해 feature화 시킨 이후 영상 전체 흐름에서 변화하는 지점을 먼저 탐지
. 그 후 변화하는 지점 주변에서 이미지간 유사도 비교를 진행하여 최종적으로 변장면이 변화한 시점인지 최종적으로 검증하는 기술 포함
- 세부기술 6. GAN을 활용한 얼굴 이미지 편집 기술
. 기존의 이미지 수정과는 방법이 다른 자유롭고 간단한 입력만을 요구
. 간단한 스케치와 컬러 입력을 토대로 입력의 의도에 맞춰 전문가 수준의 수정된 이미지를 생성
. 새로운 GAN 기술을 활용하여 일반적인 컴퓨터 외 휴대용 단말기에서도 빠르게 기술의 활용이 가능
이미지/비디오에서 다양한 사물과 행동을 이해하고 판단하기 위한 SW 및 관련 기술로 인식 및 시각화 기술을 포함하여 추진하며, 다음의 세부기술들을 조건에 따라 조합하여 기술 이전됨
- 세부기술 1. 객체 탐지 기술
. 객체와 배경을 분리하여 객체의 분류와 위치를 추정하는 기능
. 80종류의 객체를 검출하기 위한 학습된 모델 웨이트
- 세부기술 2. 인스턴스 세그멘테이션 기술
. 객체와 배경을 분리하여 객체의 분류와 위치 및 위치에 해당되는 영역을 분할하는 기능
. 80종류의 객체를 분할하기 위한 학습된 모델 웨이트
- 세부기술 3. 얼굴 비식별화 기술
. 영상 내 얼굴을 검출하기 위한 얼굴검출 학습 모델
. 입력 영상 내에 존재하는 얼굴을 검출하여 비식별화하는 기능
. 검출된 얼굴 영역에 대한 좌표 정보와 신뢰도 값을 포함하는 출력 제공
- 세부기술 4. 포즈 추정 기술
. 사람 탐지에 특화되어 사람의 위치를 찾아주는 탐지기를 포함한 기술
. 탐지된 사람을 기준으로 하여, 각 관절의 위치를 찾아주는 기술
- 세부기술 5. 구간 분할 기술
. 동영상 이미지를 feature화 한 뒤 Coarse한 변화 시점을 찾는 기능
. 변화 시점의 유사도 비교를 통해 최종적으로 장면 변화시점을 알려주는 기술
- 세부기술 6. GAN을 활용한 얼굴 이미지 편집 기술
. 새로운 GAN 기술을 이용한 이미지 생성 기술
. 자유로운 스케치 및 컬러 입력에 반응하는 학습 기술
o 각 세부 기술별 공통(제공) 부문:
- 관련 소스 코드 외 샘플 프로그램
- 시험 절차서 및 결과서
o 세부기술 1 : 객체 탐지 기술
. [특허] PR20191014KR / 2020-0060095 / 2020-05-20 / 객체 검출 시스템 및 방법
. [특허] PR20180833KR / 2019-0038049 / 2019-04-01 / 도메인 적응 기반 객체 인식 장치 및 그 방법
. [특허] PR20170879KRa / 2018-0139323 / 2018-11-13 / 게임 데이터 기반의 학습 장치 및 방법
. [기술문서] 1230-2017-00859 / Object detection 최신 기술 분석
. [프로그램] 1230-2019-039228 / 실시간 처리가 가능한 심층 신경망 네트워크 생성 및 학습 프로그램
o 세부기술 2 : 인스턴스 세그멘테이션 기술
. [특허] PR20191014KR / 2020-0060095 / 2020-05-20 / 객체 검출 시스템 및 방법
. [특허] PR20180833KR / 2019-0038049 / 2019-04-01 / 도메인 적응 기반 객체 인식 장치 및 그 방법
. [기술문서] 1120-2020-00519 / 실시간 객체 검출 및 분할 기술
. [프로그램] PG20200093 / 실시간 인스턴스 세그멘테이션 학습 및 추론 프로그램
o 세부기술 3 : 얼굴 비식별화 기술
. [특허] PR20191014KR / 2020-0060095 / 2020-05-20 / 객체 검출 시스템 및 방법
. [특허] PR20180833KR / 2019-0038049 / 2019-04-01 / 도메인 적응 기반 객체 인식 장치 및 그 방법
. [특허] PR20180833US / 16/834500 / 2020-03-30 / 도메인 적응 기반 얼굴인식 장치 및 방법
. [기술문서] 1230-2017-00859 / Object detection 최신 기술 분석
. [기술문서] 1120-2019-00591 / 얼굴분석을 위한 GUI 프로그램 소개 및 매뉴얼
. [기술문서] 1230-2018-01111 / 오픈소스 기반 딥러닝 얼굴인식 프레임워크 개발
. [기술문서] 1230-2018-00650 / 딥러닝 기반 얼굴검출 오픈소스
. [프로그램] 1120-2019-00438 / 딥러닝 기반 얼굴분석 프로그램
o 세부기술 4 : 포즈 추정 기술
. [특허] PR20190718KR / 2020-0041134 / 2020-04-03 / 감시카메라 환경에서 다중 특징 정보를 이용한
쓰레기 투기 행위자 탐지 시스템 및 방법
. [특허] PR20190511KR / 2019-0142117 / 2019-11-07 / 전자 장치, 행동 인스턴스 생성 방법 및 기록 매체
. [특허] PR20180080KR / 2018-0052753 / 2018-05-08 / 영상 감시 시스템에서의 실시간 쓰레기 투기 행위
탐지 방법 및 장치
. [특허] PR20180080US / 16/401789 / 2019-05-02 / 영상 감시 시스템에서의 실시간 쓰레기 투기 행동 자동 탐지
시스템
. [특허] PR20170284US / 16/033152 / 2018-07-11 /동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석
기반 가변 배경 학습 방법 및 시스템
. [특허] PR20170284KRa / 2018-0078599 / 2018-07-06 / 동적 물체 탐지 시스템 및 방법
. [프로그램] PG20200094 / 사람 이미지에서의 사람 관절 위치 추정 프로그램
o 세부기술 5 : 구간 분할 기술
. [특허] PR20191014KR / 2020-0060095 / 2020-05-20 / 객체 검출 시스템 및 방법
. [특허] PR20170284US / 16/033152 / 2018-07-11 / 동적 카메라에서 동적 물체 탐지를 위한 전역 움직임 분석
기반 가변 배경 학습 방법 및 시스템
. [특허] PR20170284KRa / 2018-0078599 / 2018-07-06 / 동적 물체 탐지 시스템 및 방법
. [기술문서] 1230-2017-00869 / 의미 영역 분할을 위한 기술 설명서
. [프로그램] 1230-2017-00872 / 의미 영역 분할을 위한 변화 탐지 프로그램
o 세부기술 6 : GAN을 활용한 얼굴 이미지 편집 기술
. [특허] PR20190058KRa / 2019-0130282 / 2019-10-18 / 이미지 수정 시스템 및 이의 이미지 수정 방법
. [특허] PR20190058WO / PCT/KR2020/003129 / 2020-03-05 / 적대적 생성 신경망을 이용한 얼굴 이미지 수정
. [프로그램] 1230-2018-01003 / 적대적 신경망을 활용한 얼굴 이미지 수정 프로그램
□ 적용분야 및 기대효과
- 이미지/동영상에서 딥러닝 기반 영상 인식 기술은 다양한 응용 분야에서 활용이 가능한데, 그 중에서 다음과 같은 시나리오를 고려하고 있으며, 본 기술은 사물의 분류 및 검출에 최적화 되어 있어 사업화에 필요한 추가적인 기술 개발이 필요함
1. 공산상황 분석 및 예측 분야: 수자원관리, 기후변화, 해수변화 관리 등의 다양한 환경 변화를 영상으로 분석하는 기술 분야
2. 시각지식 큐레이션: 이미지/동영상 큐레이션 서비스를 대상으로 사용자의 환경에 맞는 미디어를 추천하거나 검색 (해운대 가면 해운대 관련 영화를 추천)
3. 원격시각: 사람을 대신하여 위험지역이나 탐사가 쉽지 않은 지역을 탐사하는 경우 탐사 지역의 다양한 사물과 환경을 이해하기 위한 엔진으로 활용 가능
4. CCTV 이벤트 분석 및 검색: 감시 영상에서 사람의 행동에 집중, 비디오 구간을 분할하고, 포즈 추정을 통해 이벤트를 분석 및 검색
5. 고령자 상태 및 행동 분석: 사람 포즈 기반의 기술로서 쓰러짐 등과 같은 위험 상태를 탐지하고 분석하는 기술 분야