“스마트 엣지 디바이스 SW 개발 플랫폼 개발”사업의 NPU 기반 이미지 분류용 딥러닝 모델 추론용 실행파일 생성 기술
o 딥러닝 모델 컴파일러를 활용해 개발 편의성 및 비용 절감
- 딥러닝 모델 개발 업체에서는 자사에서 개발한 딥러닝 모델을 NPU에서 쉽게 테스트 할 수 있어, 개발 시간 단축 및 다양한 환경에서 테스트 가능.
* 추가적으로 양자화 등의 경량화를 통해 정확도 감소를 최소화하면서 딥러닝 모델의 크기 및 연산 오버헤드 감소 가능
- NPU 개발 업체에서는 개별 딥러닝 모델마다 SW 개발 환경 구축에 자원 사용을 최소화 가능하여, NPU HW 개발에 집중 가능
* 저수준 API를 딥러닝 모델 컴파일러와 연동하면, 개별 딥러닝 모델을 테스트할 수 있는 실행파일 생성 가능
하기의 기능 및 성능을 제공하는 것을 특장점으로 한다
- ONNX로 표준화된 딥러닝 모델 적용 기능
- 딥러닝 추론용 가속기 특징을 고려한 최적화 기능(MobileNet-V2 기준 Top5 정확도: 56% 이상)
- 딥러닝 모델의 레이어 간 입출력 데이터 관리용 버퍼 자동 생성 기능
- 생성된 코드는 추가 수정없이 딥러닝 응용을 생성하는 기능
- 딥러닝 모델 컴파일러 시스템은 딥러닝 모델의 표준으로 활용하는 ONNX를 기반으로 인터페이스 제공
추론용 실행파일 생성 기술
하기의 기능 및 성능을 이전 범위로 한다.
- ONNX로 표준화된 딥러닝 모델 적용 기능
- 딥러닝 추론용 가속기 특징을 고려한 최적화 기능(MobileNet-V2 기준 Top5 정확도: 56% 이상)
- 딥러닝 모델의 레이어 간 입출력 데이터 관리용 버퍼 자동 생성 기능
- 생성된 코드는 추가 수정없이 딥러닝 응용을 생성하는 기능
- 딥러닝 모델 컴파일러 시스템은 딥러닝 모델의 표준으로 활용하는 ONNX를 기반으로 인터페이스 제공
o CCTV 등 딥러닝 모델을 활용한 영상처리 분야
- NPU에 대한 전문 지식이 부족한 딥러닝 모델 개발자도 손쉽게 NPU에서 자신이 개발한 딥러닝 모델을 추론할 수 있음. 이를 통해 전력, 성능, 면적 등을 고려해 애플리케이션에 적합한 NPU 선정 가능