BROWSE
Detail
Conference Paper
다중 이종 NPU 장치에서 다중 뉴럴넷을 추론하기 위한 NPU 운영체제 플랫폼 개발
Cited - time in 
Share 
Share
- Issue Date
- 2020-07
- Citation
- 한국 컴퓨터 종합 학술 대회 2020, pp.735-737
- Publisher
- 한국정보과학회
- Language
- Korean
- Type
- Conference Paper
- Abstract
- 최근에 AI를 이용하여 이미지를 빠르게 추론하기 위해 NPU라는 전용 디바이스가 생기기 시작했다. 현재에는 이러한 NPU를 이용하여 단일 뉴럴넷을 단일 NPU에서 추론하는 수준에 머물러 있으나 복수의 추론 요청이 있는 복수의 응용 프로그램을 실행할 때에는 이와는 다르게 매우 복잡한 문제를 고려하여야 한다. 특히 NPU는 시스템 제조사마다 컴파일 방식도 다르고 실행환경도 다르게 제공되므로 추론 방식은 반드시 여러 종류의 NPU가 존재할 수 있다는 것을 고려하여 제공되어야 한다. 본 논문에서는 다양한 형태의 NPU가 복수 개가 존재하고 뉴럴넷 모델도 복수 개가 제공될 때 추론하는 NPU 운영체제 플랫폼을 제안한다. 제안 방식을 사용하면 다양한 형태의 NPU 디바이스에서 복수의 뉴럴넷 추론 응용 프로그램들이 쉽고, 빠르고 효율적으로 실행 및 제어되는 것이 가능하다.