ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Neural Network Execution Code Generation and Deployment Technology for on-devices

Manager
Kyung Hee Lee
Participants
Kwak Ji Young, Kim Seon-Tae, Kim Young Kyun, Kim Hong Soog, Park Jaebok, Jinwuk Seok, Iksoo Shin, Joonsun Auh, Kyung Hee Lee, Seongwon Jo, Cho Chang Sik, Hyunwoo Cho
Transaction Count
1
Year
2022
Project Code
22HS2800, Development of Integrated Development Framework that supports Automatic Neural Network Generation and Deployment optimized for Runtime Environment, Cho Chang Sik
22ZS1300, Research on High Performance Computing Technology to overcome limitations of AI processing, Kim Kang Ho
o 본 기술은 신경망 통합개발 프레임워크 기술 개발의 결과물 중 하나임
o 학습된 신경망 모델은 바로 타겟에 탑재하여 실행할 수 없으며, 이 신경망 모델을 실행하기 위해서는 탑재 실행될 운영체제, 추론 엔진 및 HW에 맞게 실행 코드를 추가하여야 함
o 본 기술은 상기의 신경망 모델이 타겟에서 실행가능하도록 신경망 모델의 변환, 신경망 모델을 위한 전처리 및 후처리 인터페이스 등을 자동적으로 추가하여 주는 도구 기술임
o 본 기술이전은 신경망 이론과 HW 지식이 부족한 개발자들이 쉽게 인공지능 응용 및 서비스를 쉽게 개발할 수 있도록 하는 인공지능 대중화에 목적을 둠
o 신경망 응용 자동생성 및 신경망 가속 관련 HW 업체들을 대상으로 선순환 구조의 가치 사슬 구축 등 인공지능 산업 생태계 활성화를 위해 필요한 기술임
- 본 기술은 신경망 통합개발 프레임워크 기술개발의 결과물 중 하나임
- 학습된 신경망 모델은 바로 타겟에 탑재하여 실행할 수 없으며, 이 신경망 모델을 실행하기 위해서는 탑재 실행될 운영체제, 추론 엔진 및 HW에 맞게 실행 코드를 추가하여야 함
- 본 기술은 상기의 신경망 모델이 타겟에서 실행가능하도록 신경망 모델의 변환, 신경망 모델을 위한 전처리 및 후처리 인터페이스 등을 자동으로 추가하여 주는 도구 기술임
- (필요성) 본 기술이전은 신경망 이론과 HW 지식이 부족한 개발자들이 쉽게 인공지능 응용 및 서비스를 쉽게 개발할 수 있도록 하는 인공지능 대중화에 목적을 둠
- (필요성) 신경망 응용 자동생성 및 신경망 가속 관련 HW 업체들을 대상으로 선순환 구조의 가치 사슬 구축 등 인공지능 산업 생태계 활성화를 위해 필요한 기술임
o (운영체제의 다양성 지원) Linux, Windows 등 추론 엔진이 동작하는 다양한 운영체제 환경을 지원
o (HW의 다양성 지원) x86, ARM과 같은 CPU 뿐만 아니라, RK3399Pro와 같은 NPU 혹은 Nvidia CUDA, Mali GPU상 OpenCL과 같은 다양한 신경망 가속 환경 지원
o (추론엔진의 다양성 지원) PyTorch, RKNN, PyArmNN 등 다양한 추론엔진 지원
o 자동 생성된 신경망 모델이 타겟 HW상에서 실행가능하도록 신경망 모델의 변환 및 실행 코드 자동 생성을 지원하는 기술
- 타겟 맞춤형 신경망 모델 변환 및 경량화 기술
- 추론 엔진 최적화지원 신경망 실행 코드 자동 생성 기술

o 온디바이스용 신경망 실행 코드 생성 및 배포탑재 기술
- 신경망 통합개발 프레임워크 기술개발 요구사항정의서
- 신경망 통합개발 프레임워크 기술개발 시스템 구조 설계서
- 온디바이스용 신경망 실행 코드 생성 및 배포탑재 프로그램 시험 절차서 및 결과서
- 온디바이스용 신경망 실행 코드 생성 및 배포탑재 프로그램

o 특허 (국내)
- 신경망 응용 개발 장치 및 방법(2022-0041217 )
- 신경망 실행 이미지 생성 장치 및 방법(2022-0048798)

o 기술문서(TM)
- “ONNX 런타임 활용(안)” 등 11건
- (신경망 HW 개발 기업) 신경망 실행 가속기용 신경망 개발 SDK 혹은 라이브리리 기술로 활용 가능
- (No-code/Low-code 관련 기업) 온디바이스용 신경망 실행 엔진 및 응용 개발 프레임워크로 활용 가능
- (기대효과) No-code/Low-code 등 신생 신장에서 기술 선점 효과 및 국산 신경망 가속 HW 시장 활성화에 기여 가능