최근 1,000억 개 이상의 대규모 매개변수를 가진 딥러닝 기반의 초거대 AI 언어모델이 AI 연구의 새로운 패러다임으로 자리 잡으면서 글로벌 빅테크 기업 간 경쟁을 촉발하고 있다. 지난 2~3년간 인공지능 연구에서 가장 주목할 트렌드는 초거대 AI 언어모델의 약진과 기대, 그리고 기술주도권을 둘러싼 세계 각국의 규모와 속도 경쟁이다. 딥러닝 이후 시각 분야에서 시작된 기술 혁신은 초거대 AI 등장으로 인해 언어 분야로 빠르게 확산되고 있으며, 인공지능 연구의 미래 방향을 탐색할 필요성이 제기되고 있다. 본 보고서에서는 초거대 AI 개발을 가능하게 만든 기술적 배경, 초거대 AI 언어모델의 의미와 한계, 초거대 멀티모달 AI로 이어지는 인공지능 기술의 주요 트렌드 및 이슈를 분석하고 향후 발전 방향을 살펴보고자 한다. 2010년대 중반 이후 트랜스포머 모델과 자기지도학습 등은 초거대 AI 언어모델이 구현될 수 있는 기술적 환경을 조성하였으며, 2020년 OpenAI의 GPT-3 공개 이후 글로벌 및 국내 기업들이 초거대 AI 개발에 본격적으로 투자하고 있다. 그러나 초거대 AI 언어모델은 알고리즘의 효율성, 편향성, 유해성 등 양적 확장만으로 해결하기 어려운 문제와 한계를 노출하고 있으며, 이를 극복하기 위한 멀티모달 AI 연구가 활발히 진행되고 있다. 멀티모달 AI는 인간처럼 다양한 감각 정보를 통합적으로 처리하는 기술로, 최근에는 트랜스포머 구조에 기반을 둔 언어 시각 트랜스포머 연구가 주목받고 있다. 앞으로 초거대 AI와 멀티모달 AI의 효율성, 편향성 극복, 그리고 자연지능 모사 등 기술적·개념적 한계를 극복하기 위한 연구가 필요하다.
This work is distributed under the term of Korea Open Government License (KOGL)
(Type 4: :
Type 1 + Commercial Use Prohibition+Change Prohibition)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.