본 기술은 시설 작물 병충해를 분할(Segmentation) 기법으로 식별 및 분류하는 딥러닝 모델 소프트웨어 구현체이며, 공간 및 문맥 특징정보 기반의 세그먼테이션 네트워크 학습 기능과 조기 추론 기반의 엣지 추론 경량화 기능을 포함한다.
● 딥러닝 기반 세그먼테이션(Segmentation) 기술은 사람, 자동차, 나무, 도로 등과 같이 일반적인 객체(Object)를 대상으로 객체의 외형에 적합한 다각형을 인식하기 위해 개발되어 활용되었으나, 스마트팜에서 발생하는 시설 작물 병충해와 같이 특수한 시각적 특징을 가지는 정보에 대해서는 보다 정교한 학습 기술 연구개발이 요구되며, 특히 병충해 발생 현장에서 실시간 추론이 요구되는 경우, 딥러닝 네트워크 추론 가속화 설계부터 관련 시스템 구축에 큰 비용과 경험이 필요함.
● 본 기술은 안드로이드 스마트폰과 같은 경량 엣지 기기를 통해 현장에서 실시간으로 시설 작물의 잎 형태를 식별하고, 식별된 해당 잎 객체 상의 병충해 유형을 추론하는 기능을 수행함. 특히, 정확도와 추론 지연시간 조율을 위해 백본 모델 변경과 조기 추론 임계치를 스케일링할 수 있는 기능을 제공하고 있어, 현장에서의 활용성이 매우 큼. 더불어, 다른 유형의 시설 작물 병충해 데이터 셋(Dataset)에 대해서도 병충해 특징을 공간정보 및 문맥정보 형태로 학습하고 이를 실시간 추론할 수 있어 실제 시설재배지에서 활용 가능성이 큰 기술임.
- 본 기술은 스마트 팜 시설 작물에서 발생하는 질병(Diseases) 및 해충(Pests)의 양상을 학습 및 추론하는 딥러닝 소프트웨어를 포함한다.
- 주요 구현체는 1) 서버 기반의 분할 뉴럴 네트워크 (Segmentation Neural Network) 기능, 2) 동적 경량 분석을 위한 조기 출구 기반 추론 적용 기능, 3) 분할 뉴럴 네트워크 훈련 기능 및 안드로이드 엣지 기반 추론 기능으로 구분된다.
- 기술 특징
1) 분할 뉴럴 네트워크의 동적 경량화가 가능한 구조로 모델링됨.
2) 분할 뉴럴 네트워크는 Spatial Features 뿐만 아니라 Semantic Context Features 정보를 동시에 훈련함.
3) 서버가 아닌 현장 엣지 기기 중심의 빠른 추론을 지원함.
- 기술 장점
1) 서버 기반의 분석 및 추론 결과 전달과 같은 이원화된 시스템의 단점을 보완함.
2) 적절한 추론 정확도와 지연시간을 동시에 보장할 수 있는 구조로 분할 뉴럴 네트워크 구조를 제공함.
3) 안드로이드 스마트 폰에서 바로 추론 구동이 가능하도록 테스트 앱 형태로 추론 기능이 구현됨.
- 본 기술이전은 시설작물 잎(Leaf) 상의 병충해를 탐지하고, 이미지 분할(Segmentation)을 통해 영역을 표시하는 딥러닝 소프트웨어 구현 기술이 핵심임.
- 본 기술은 신경망 모델을 구조화하고, 데이터를 활용하여 모델을 학습하는 “서버 기반 모델 학습 소프트웨어” 와 엣지 기기에서 모델을 추론하는 “경량 엣지 추론 소프트웨어”로 구성됨.
- 본 기술은 엣지(안드로이드) 추론을 지원하는 경량 인공신경망 기술을 포함함.
기술 1: 서버 기반 병충해 분할 모델 학습 기술
- 적절한 추론 정확도와 처리 속도를 보장할하는 경량 추론 모델 설계 및 학습 기능
- 병충해 실시간 탐지를 영역별로 시각화하는 기능
기술 2: 엣지 기반 모델 경량 추론 기술
- 안드로이드 스마트폰 기반 추론 구동 인터페이스 제공 기능
- 안드로이드 스마트폰 기반 카메라 입력에 대응하는 실시간 추론 기능
기술 1: 서버 기반 병충해 분할 모델 학습 기술
- 병충해 데이터셋 변환 및 데이터로딩 소스코드 제공
- 다양한 Backbone 입력 및 조기 출구(Early Exit) 설정 기능
- 인공신경망 구조 변경 및 Pytorch 기반 학습 소스코드 제공
- 인공신경망 추론 및 병충해 이미지 분할 영역 Masking 소스코드 제공
기술 2: 엣지 기반 모델 경량 추론 기술
- Kotlin 기반 안드로이드 추론 테스트 앱 소스코드 제공
- 안드로이드 기반 분할 신경망 설정 및 추론 실행 기능
- 추론 결과 가시화 및 성능 표기 기능
본 ESPD 기술은 병충해 공간 특징 정보 및 문맥 정보를 추출하고 학습하는 학습 기술과 백본 모델 교체 및 조기 출구 전략을 활용한 경량 추론 기술을 포함하며, 본 기술은 토마토 작물을 대상으로 도출된 Use Case와 관련한 소프트웨어를 제공한다. 본 기술이전 요구 주체의 사업적 특성과 시나리오에 따라 네트워크 구조 변경, 기능 모듈 추가, 학습/추론 파이프라인 변경 등과 같은 추가 개발이 필요할 수 있다.
1) 시설 작물 병충해 분석 및 관리: 대상 시설 작물에 주요하게 발생하는 병충해 유형 및 위치 식별, 병충해 발병 위치 및 규모를 파악하는 등의 첨단 농업 기술로 활용
2) 스마트팜/디지털트윈 등을 위한 현장 분석기술 활용: 스마트폰과 같은 사용자의 단말 또는 경량 엣지 기반 카메라 등을 활용한 현장 영상 분석, 분석 결과를 실시간으로 디지털트윈 기반 팜 관리 시스템에 연계하는 등으로 활용처 확대 가능