본 기술이전은 스마트팜 시설 작물의 과실 성숙도(Fruit Ripeness) 양상을 학습 및 추론하는 딥러닝 소프트웨어 구현체에 관한 것이다.
본 소프트웨어는 RGB 및 Depth Map 데이터 기반 객체 및 공간 특징정보 딥러닝 학습 기능과 엣지 기반 추론 기능을 포함한다.
● 딥러닝 기반 객체식별(Object Detector) 또는 세그먼테이션(Segmentation) 기술은 사람, 자동차, 나무, 도로 등과 같이 일반적인 객체를 대상으로 그 형에 적합한 영역을 인식하기 위해 개발되어 활용되었으나, 스마트팜의 시설 작물의 특수성을 고려한 성숙도 분석을 지원하기 위해서는 보다 정교한 신경망 설계 및 학습 기술 개발이 요구됨.
● 특히 2차원 이미지의 RGB 값 만으로는 단편화된 성숙도 분석 이슈가 있어, 과실 성숙도 예측을 위해서는 과실의 속성 정보 추정은 물론 3D 정보를 함께 복원할 수 있는 딥러닝 신경망 설계 및 학습에 큰 비용과 경험이 필요함.
● 본 기술은 안드로이드 스마트폰과 같은 경량 엣지 기기를 통해 현장에서 실시간으로 시설 작물의 과실 형태를 식별하고, 식별된 해당 과실 상의 성숙도 정도를 추론하는 기능을 제공할 수 있어, 현장에서의 활용성이 매우 큼. 더불어, 다른 유형의 시설 작물 에 대해서도 과실 특징을 공간정보 및 문맥정보 형태로 학습하고 이를 분석할 수 있어 실제 시설재배지에서 수요 가능성이 큰 기술임.
본 기술은 스마트팜 시설 작물의 과실 성숙도(Fruit Ripeness) 양상을 학습 및 추론하는 딥러닝 소프트웨어를 포함한다.
주요 구현체는 1) 성숙도 객체 특징 정보 검출 기술, 2) 성숙도 공간 특정 정보 검출 기술, 3) 특징정보 퓨전 및 속성/공간 추론 기술으로 구분된다.
- 기술 특징
1) RGB 2차원 정보와 심도 정보를 혼합하여 학습을 수행하도록 모델링 됨.
2) 당도, 크기, 색온도, 부피와 같이 성숙도를 결정하는 주요 인자를 모두 분석할 수 있음.
3) 서버가 아닌 현장 엣지 기기 중심 추론을 지원함.
- 기술 장점
1) 정확도 보장을 위한 2D 및 3D 데이터 파이프라인 구성 및 네트워크 훈련 기술
2) RGB 이미지 및 심도(Depth Map) 데이터 기반의 성숙도 속성 및 모형 복원 추론
3) 스마트폰과 같은 자원 제약형 기기에서 구동 가능한 추론 테스트 앱을 제공
- 본 기술이전은 시설 작물 이미지로부터 객체 및 공간 정보를 검출하여, 열매(Fruit)를 식별하고, 성숙도 속성 정보를 추론하는 딥러닝 소프트웨어 구현 기술이 핵심임.
- 본 기술은 신경망 모델을 구조화하고, 데이터를 활용하여 모델을 학습하는 “서버 기반 모델 학습 소프트웨어” 와 엣지 기기에서 모델을 추론하는 “경량 엣지 추론 소프트웨어”로 구성됨.
기술 1: 서버 기반 성숙도 분석 모델 학습 기술
- 객체 특징 정보 검출 및 공간 특징 정보 검출 기능
- 특징정보 퓨전을 통한 학습 및 추론 기능
- 과실 객체를 3차원 모형으로 복원 시각화하는 기능
기술 2: 경량 엣지 기반 모델 추론 기술
- 스마트폰 기반 추론 구동 인터페이스 제공 기능
- 스마트폰 기반 추론용 테스트 앱 기능
기술 1: 서버 기반 성숙도 분석 모델 학습 기술
- 성숙도 데이터 셋 파이프라인 구성
- Pytorch 기반 학습 소스 코드 제공
- 성숙도 분석 모델 추론 및 3차원 모델 가시화 소스 코드 제공
기술 2: 경량 엣지 기반 모델 추론 기술
- 스마트폰 추론 테스트 앱 소스 코드 제공
- 추론 결과 가시화 및 성능 표기 기능
본 FRUT 기술은 성숙도 분석을 위한 공간 특징 정보 및 문맥 정보를 추출하는 학습 기술과 백본 모델 교체를 활용한 경량 추론 기술을 포함한다. 더불어, 본 기술은 방울 토마토 작물을 대상으로 도출된 Use Case와 관련한 소프트웨어를 제공한다. 본 기술이전 요구 주체의 사업적 특성과 시나리오에 따라 네트워크 구조 변경, 기능 모듈 추가, 학습/추론 파이프라인 변경 등과 같은 추가 개발이 필요할 수 있다.
1) 시설 작물 성숙도 분석 및 관리: 대상 시설 작물의 선별 수확을 위해 개별 과실 식별, 성숙도 파악, 과실의 3차원 복원, 전체 성숙율 모니터링 등의 첨단 농업 기술로 활용
2) 스마트팜/디지털트윈 등을 위한 현장 분석기술 활용: 스마트폰과 같은 사용자의 단말 또는 경량 엣지 기반 카메라 등을 활용한 현장 이미지 분석, 분석 결과를 실시간으로 디지털트윈 기반 팜 관리 시스템에 연계하는 등으로 활용처 확대 가능