본 기술은 복수 개의 NPU가 탑재되어 다중 AI 모델 추론 연산의 병렬 처리를 지원하는 온디바이스 AI 플랫폼 기술로, 단일 호스트 플랫폼에서 PCIe 레인/스위치 기반 병렬 연결 구조를 이용해 복수 개의 NPU를 동시에 제어·활용하고, 이를 바탕으로 시각지능 및 시계열 데이터 추론 AI 모델을 NPU별로 분산·병렬 실행함으로써 다단계로 구성된 복합 AI 추론 응용서비스를 단일 온디바이스 AI 플랫폼에서 실시간으로 제공할 수 있음
■ 본 이전 기술은 복수의 NPU를 탑재한 온디바이스 AI 플랫폼을 통해 클라우드 서버 의존도를 낮추고, 다수의 AI 모델 추론을 병렬로 처리함으로써 실시간 분석 및 의사결정이 요구되는 산업 현장, 스마트시티, 무인점포, 스마트팜, 스마트공장 등 다양한 분야에 적용 가능함
■ 국산 지능형 반도체(NPU) 기술을 적용하여 초저지연 AI 연산 서비스를 구현함으로써, 국내 기업이 객체검출, 시계열 예측, 음성·언어 모델 등 다양한 AI 응용서비스를 신속하게 상품화·사업화할 수 있도록 지원함
■ 최근 온디바이스 AI 서비스는 단일 AI 모델 추론을 넘어, 객체검출, 추적, 분류, 이상탐지, 예측 등 여러 종류의 AI 모델을 연계하여 동시에 실행하는 형태로 고도화되고 있음. 이에 따라 병렬 NPU 기반 플랫폼을 통해 연산 자원을 모델별로 분할·할당하고 복합 분석 작업을 병렬 처리함으로써, 초저지연 다중 AI 추론 서비스를 구현할 필요성이 증가하고 있음
■ 정부의 AI 국가전략 및 지능형 반도체 육성 정책에 따라 국산 NPU 기반 AI 플랫폼의 중요성이 확대되고 있음. 본 기술이전을 통해 국산 AI 반도체 기반의 온디바이스 AI 서비스 상용화를 촉진하고, 다양한 산업 분야에 고성능·저비용 AI 솔루션을 제공함으로써 국내 AI 반도체 생태계 확장과 기술 경쟁력 강화에 기여할 수 있음
■ PCIe 레인/스위치 기반 병렬 연결 구조를 통해 복수 NPU를 동시에 활용하는 고성능 병렬 연산 하드웨어 구조 포함
■ 온디바이스 AI 가속장치를 활용하여 다중 AI 모델 추론 병렬 처리와 다채널 영상 데이터 분석 최적화를 지원하는 AI 추론 파이프라인 구현
■ 복수 NPU 기반 가속 구조를 통해 모델 간 연계가 필요한 직렬형 Cascade 추론과 멀티채널 입력 동시 처리를 위한 Parallel 추론 구조 지원
■ 원격 서버와의 협력을 통해 엣지 단의 저지연 1차 AI 분석과 서버 기반 고정밀·고부하 데이터 분석을 연계하여 다양한 시각지능 응용서비스 구현 가능
■ 온디바이스 AI 가속장치 기반 IoT 시계열 데이터 추론 모델 운영을 통해 설비 상태 모니터링, 이상탐지, 예측 및 사전 예보·알람 등 다양한 시계열 응용서비스 제공 가능
■ 기술이전 내용
- PCIe 레인 기반 병렬 NPU 연결 구조를 통해 고성능 병렬 연산을 지원하고, 다중 AI 모델 추론 작업을 NPU별로 분산 처리하여 추론 지연시간 최소화
- 온디바이스 AI 가속장치 기반 다중 AI 모델 추론 병렬 처리 파이프라인 구현
- 다채널 영상 데이터 분석 최적화를 위한 다중 스레딩 큐 기반 작업 파이프라인 구축
- 시계열 데이터 추론 가속을 위한 병렬 NPU 기반 분산 처리 파이프라인 구축
■ 기술이전 범위
- 병렬형 엣지 AI 가속기 모듈 구조 설명서를 포함한 기술문서 7건
- 온디바이스 AI 가속장치 활용 다중 AI 모델 추론 병렬처리 기술 상세설계서를 포함한 기술문서 7건
- 시계열 데이터 추론 모델 활용 AI 기술 SW 상세설계서를 포함한 기술문서 7건
- 다중 AI 모델 활용 시각지능 서비스 최적화 기술 소스코드 1종
- 시계열 데이터 추론 모델 활용 AI 기술 소스코드 1종
■ 본 이전 기술은 복수의 NPU를 병렬로 활용하는 온디바이스 AI 플랫폼으로서, 화재 감지, 이상행동 탐지, 행동인식 등 복수 AI 모델 기반의 복합 분석을 동시에 수행할 수 있음. 대표적인 활용 예로, 다채널 CCTV 환경에서 실시간으로 이상상태를 감지·분석해야 하는 방범, 재난안전, 교통관제 등 다양한 분야에 적용 가능함.
■ 무인점포 운영 및 지자체 공공 CCTV 관제 시스템 등에서 요구되는 여러 AI 모델을 동시에 운용함으로써, 상대적으로 낮은 비용으로 고성능·저지연 AI 서비스를 제공할 수 있음. 또한 개인정보가 포함된 원천 데이터를 외부로 전송하지 않고 엣지 단에서 자체 분석함으로써 데이터 보안성과 처리 효율을 높일 수 있음.
■ 본 기술은 다중 모델 추론이 가능한 병렬 NPU 기반 엣지형 시스템으로, 산업·건설 현장의 안전관리, 교통 흐름 분석, 스마트공장·스마트팜 등의 실시간 모니터링 및 예측 서비스까지 적용 범위를 확장할 수 있음. 이를 통해 국산 AI 반도체의 활용성을 높이고, 다양한 산업 분야에서 지능형 서비스를 신속하게 사업화하는 데 기여할 수 있을 것으로 기대됨