본 기술은 '생성형AI 지원 시스템SW 프레임워크 기술개발‘ 과제 및 '신경망 통합개발 프레임워크 기술 개발’ 과제에서 개발된 기술 중 생성형AI 통합개발 프레임워크와 SDx 실행 시스템, 비전 신경망 자동생성 통합개발 도구를 포함되는 기술임
- 통합개발 프레임워크 : 멀티모달 데이터 전처리·증강부터 파인튜닝 및 지식 증류를 통한 신경망 생성, 모델 경량화·최적화, 배포까지 생성형AI 구축 전 과정을 지원하는 통합 개발 프레임워크 기술임
. 생성형AI 통합개발 프레임워크는 인터넷 상 혹은 저장된 파운데이션 모델을 활용하여 데이터 증강, 신경망 생성, 경량화/최적화 및 배포탑재 기능을 수행
- 실행 시스템SW : SDx 시스템에서 구동되는 생성형AI 모델과 SDx 응용을 온디바이스 특성에 맞게 저지연, 고신뢰성을 보장함과 동시에 고속 실행을 효과적으로 지원하는 시스템SW 기술임
. SDx 실행 시스템 SW는 생성형AI가 실행될 타겟에 설치되는 시스템SW와 SDx 서비스 기술임
- 비전 신경망 자동생성 통합개발 도구 : 디바이스의 성능/사양에 맞게 최적의 신경망을 생성하는 것으로 디바이스 사양을 고려한 신경망을 생성한 후 디바이스가 구동되는 환경에 맞게 생성된 신경망을 최적화하여 최고의 성능을 낼 수 있도록 하는 기술임
. 신경망 생성에서는 이미지 분류 및 객체 탐지를 위한 신경망 모델이 적용되며, 디바이스의 사양에 따라 복잡도를 결정함
. 신경망 탑재는 추론 디바이스의 환경에 맞게 최적의 신경망을 만들고, 디바이스에 손쉽게 탑재할 수 있도록 지원함
- 본 기술은 생성형AI 및 비전 신경망 통합개발 프레임워크 기술개발의 결과물 중 하나임
- 신경망 생성은 개발자의 의도에 맞게 생성되어야 하며, 이를 위해 개발자가 사용하고자 하는 응용 타입과 추론 디바이스의 성능을 고려하여 최적 생성을 지원해야 함
- 학습된 신경망 모델은 바로 타겟에 탑재하여 실행할 수 없으며, 이 신경망 모델을 실행하기 위해서는 탑재 실행될 운영체제, 추론 엔진 및 디바이스에 맞게 실행 코드를 추가하여야 함
- 본 기술은 주어진 디바이스에 맞게 신경망을 생성하고 디바이스 환경에 맞게 신경망이 타겟에서 실행가능하도록 신경망 모델의 변환하여 주는 기술임
- (필요성) 본 기술이전은 신경망 이론과 디바이스 지식이 부족한 개발자들이 쉽게 인공지능 응용 및 서비스를 쉽게 개발할 수 있도록 하는 기술임
- (필요성) 신경망 응용 자동생성 및 신경망 가속 관련 디바이스 업체들을 대상으로 선순환 구조의 가치 사슬 구축 등 인공지능 산업 생태계 활성화를 위해 필요한 기술임
- (특징) 사용하고자 하는 디바이스에 최적화된 신경망 생성 및 최적화 기술
. 타겟 적응형 신경망 생성 기술
. 입력받은 파운데이션 모델과 학습용 데이터를 기반으로 하는 Fine Tuning 기술
. 응용 및 타겟 디바이스를 적응형 신경망 모델 추천 기술
. 타겟 맞춤형 신경망 모델 변환 및 경량화 기술
. 추론 엔진 최적화 지원 신경망 실행 코드 자동 생성 기술
. 자유형 응답에 대해 LLM-as-a-Judge 모듈이 자동 개입하여 Pointwise·Pairwise 방식으로 응답 품질을 보조 검증
. 신경망 모델의 시각화 및 편집 기술
. 도커기반 각 모듈의 파이프라인 통합 관리 기술
. 편리한 정보 입력 UI 및 상호 인터페이스 기술
- 주요 장점
. (신경망 모델 추천) 빠른 신경망 학습을 위해서 응용 TASK 및 디바이스 능력을 세분화 및 적합한 모델 추천 기능 제공
. (신경망 시각화) 추천된 신경망 모델을 시각화하거나 수정하고자 할 때 편리한 기능 제공
. (운영체제의 다양성 지원) Linux, Windows 등 추론 엔진이 동작하는 다양한 운영체제 환경을 지원
. (디바이스의 다양성 지원) x86, ARM과 같은 CPU 뿐만 아니라, RK3399Pro와 같은 NPU 혹은 Nvidia CUDA, Mali GPU상 OpenCL과 같은 다양한 신경망 가속 환경 지원
. (편리한 원클릭 생성) 입력 정보 입력 후 한번의 클릭으로 신경망 생성부터 배포/탑재까지 수행하는 기능 제공
o 본 기술은 사용자의 입력된 디바이스의 성능을 고려하여 신경망을 생성하고, 신경망 모델이 타겟 디바이스상에서 최적 실행 가능하도록 신경망 변환 및 실행 코드 자동 생성을 지원하는 도구 기술임
o 기술명 : 탱고 인공지능 통합개발 도구*
(1) 세부기술1: 생성형AI 통합개발 프레임워크 기술
- 사용자 정보 입력 UI 및 프레임워크 관리 기술
- 생성형AI 신경망 모델 추천 기술
- 신경망 파인튜닝 기술
- 사용자 입력 데이터를 변형하여 시스템 프롬프트에 반영하는 기술
- 신경망 평가 및 평가 지표 자동 산출 기술
- 모듈간 인터페이스 기술
(2) 세부기술2: 생성형AI 실행 시스템 기술
- 생성형 AI의 실행 추론엔진 기술
- 타겟 맞춤형 신경망 모델 변환 및 경량화 기술
- 추론엔진 최적화 지원 신경망 실행 코드 자동 생성 기술
- 생성형 AI의 실행을 위한 배포 기술
- 모듈간 인터페이스 기술
(3) 세부기술3: 객체탐지 신경망 자동생성 통합개발 프레임워크 기술
- 사용자 정보 입력 UI 및 프레임워크 관리 기술
- 신경망 모델 추천 기술
- 영상내 객체 탐지 기반 신경망 생성 기술
- 타겟 맞춤형 신경망 모델 변환 및 경량화 기술
- 추론엔진 최적화 지원 신경망 실행 코드 자동 생성 기술
- 모듈간 인터페이스 기술
(4) 세부기술4: 이미지 분류 신경망 자동생성 통합개발 프레임워크 기술
- 사용자 정보 입력 UI 및 프레임워크 관리 기술
- 신경망 모델 추천 기술
- 이미지 분류 기반 신경망 시각화 기술
- 이미지 분류 기반 신경망 생성 기술
- 타겟 맞춤형 신경망 모델 변환 및 경량화 기술
- 추론엔진 최적화 지원 신경망 실행 코드 자동 생성 기술
- 모듈간 인터페이스 기술
* 본 기술은 오픈소스 프로젝트를 지향하여, 오픈 소스코드의 조합으로 산업에서 사용할 수 있는 통합개발 프레임워크를 개발하였음. 프레임워크에서 사용되는 라이선스에 따라서 기술이전 받은 내용을 사용하거나 추가 수정하였을 경우 공개의무 사항이 발생할 수 있음 (공개 프로젝트 사이트 (TANGO) : https://github.com/ML-TANGO/)
o 탱고 인공지능 통합개발 도구
- 생성형AI 지원 시스템SW 프레임워크 기술개발 요구사항정의서
- 신경망 통합개발 프레임워크 기술개발 요구사항정의서
- 신경망 통합개발 프레임워크 기술개발 시스템 구조 설계서
- 탱고 인공지능 통합개발 도구 프로그램
- 탱고 인공지능 통합개발 도구 시험 절차서 및 결과서
- (신경망 모델 적용 기업) 조선, 농업, 스마트 공장, 의료 등의 산업 현장에는 다양한 디바이스와 데이터에 맞게 적응적으로 신경망을 개발하고 검증해서 적용을 해야 하는 업체가 활용 가능
- (신경망 HW 개발 기업) 신경망 실행 가속기용 신경망 개발 SDK 혹은 라이브리리 기술로 활용 가능
- (No-code/Low-code 관련 기업) 디바이스용 신경망 실행 엔진 및 응용 개발 프레임워크로 활용 가능
- (기대효과) No-code/Low-code 시장에서 기술 선점 효과 및 국산 신경망 가속 HW 시장 활성화에 기여 가능