22HH6800, 5G based Low-Latency Device-Edge Cloud Interaction Technology Development,
Son Wookho
Abstract
□ 연구개발 목표 및 내용 ◎ 최종 목표 o 5G 네트워크 상 가상-실공간 연계형 VR·AR 콘텐츠에서 사용자 인터랙션 체험 반응도를 분석 및 반영하는 저지연형의 다중 참여자 간 협업 인터랙션 기술 개발 - 5G 네트워크 상의 VR·AR 협업 공간 內 다중 참여자들의 인터랙션을 저지연으로 실현하기 위해, 경량화 디바이스와 엣지클라우드 서버를 활용한 MEC(모바일 엣지 컴퓨팅) 사용 - 5G 네트워크 상의 VR·AR 협업 공간 사용자 인터랙션 시 엣지클라우드를 활용하여 실·가상 공간 및 객체와의 고정밀 정합 및 동기화를 실현 - 가상-실공간 연계형 VR·AR 콘텐츠의 사용자-가상객체 간 및 사용자 간 친화적인 일대일/일대다 인터랙션 - VR·AR 협업 공간에서의 사용자 인터랙션 정보를 바탕으로 사용자의 인터랙션 만족도(QoI: Quality of Interaction)를 예측 및 분석 반영
o 연구개발 결과물 - 단일 RGB 기반 핸드 트래킹 모듈 (SW) - RGB + IMU 기반 공간 스캔 & 편집 툴 (SW) - 저지연 / 동기화 기반 연산 가속화 솔루션 (SW) - AR 글래스 기반 객체 선택/조작 모듈 (SW) - 경량형 햅틱 장갑 기반 탠저블 UI 모듈 (SYS) - 인터랙션 품질(QoI) 정량화 프레임워크 (SW) - 5G MEC 협업 인터랙션 인프라 (SYS) - 다자 협업 동기화 통합 프레임워크 (SW) - AR 글래스 기반 원격 협업 솔루션 (SYS)
◎ 전체 내용 [연구개발내용] o 5G 네트워크 상의 실·가상 연계형 협업 공간內 다중 참여자들의 VR/AR 인터랙션을 저지연으로 실현하기 위해, 착용형 경량화 디바이스와 엣지클라우드 서버 기반으로 고효율 컴퓨팅을 수행 o 5G 네트워크 상의 VR·AR 협업 공간 사용자 인터랙션 시 엣지클라우드를 활용하여 실·가상공간 및 객체와의 고정밀 정합 및 동기화 처리 o 가상-실공간 연계형 VR·AR 콘텐츠의 사용자-가상객체 간 및 사용자간 친화적인 일대일/일대다 인터랙션 o VR·AR 협업 공간에서 추출한 사용자 인터랙션 정보를 바탕으로 인터랙션 만족도(QoI: Quality of Interaction)를 예측 및 분석하여 반영
[과제수행방법] o 연구개발 세부기술 주제별로 세계 최고 수준의 전문기관 참여의 컨소시엄 구성으로, 기관별 특화된 연구개발 역할론 부여 o 엣지클라우드 컴퓨팅 기반의 저지연 VR/AR 인터랙션 기술의 실증을 위해, 상용 엣지클라우드 인프라를 보유한 이통사를 활용 o 다자 참여 VR/AR 인터랙션 기술의 사업화 추진을 위해 참여기관 및 협력기관 기 보유 플랫폼의 최대한 활용으로 사업화 추진동력을 확보 - 이통사 보유의 원격 AR플랫폼 또는 소셜 VR/AR 플랫폼을 활용하여, 기존 플랫폼 고도화에 의한 신서비스 및 시장 창출을 유도 o VR/AR 인터랙션의 사용자 만족도(QoI)의 정량화를 위한 척도 및 절차 표준 개발에 기 국제표준화 개발 경험을 반영 - 주관기관은 기존에 사용자의 VR/AR 콘텐츠 체험품질(QoE) 분석 방법 및 절차에 대한 국제표준화 추진 경험을 보유 (IEEE-SA WG P3079 및 P3333.1.3에서 표준화를 추진 중)
□ 연구개발성과 [연구개발 결과물] o 엣지클라우드 기반 핸드 포드 예측 기술 개발 - RGB 기반 다중 사용자 고속 손 추적 모듈 개발 - 모바일 환경 기반 사용자 인터랙션 인터페이스용 SDK 구현 - 핸드 포즈 추정 기술의 AR 글래스 적용 서비스 모듈 구현
o AR 공간 매핑 및 공간 좌표계 시스템 기술 개발 - 실시간 맵 및 자세 학습 모듈 구현 - 개별 영상 융합형 확장 공간 고속 구축 기술 구현 - 공간 스캔 정보 기반 AR 콘텐츠 저작 도구 개발 - AR 글래스 기반 스마트홈 응용 서비스 개발용 API 구현
o 사용자 인터랙션 만족도 정량화 프레임워크 기술 개발 - AR 인터랙션 품질 측정을 위한 AR 레퍼런스 콘텐츠 구현 - 사용자 인터랙션 만족도 정량화 모델 구현용 실험 DB 구축 완료 - 사용자 인터랙션 만족도 정량화를 위한 기계학습 모델 개발 - XR 콘텐츠의 사용자 인터랙션 만족도에 대한 정량화 절차 표준 개발
o VR/AR 경량형 엣지 디바이스 기반 다중 사용자 간 사용자 인터랙션 기술 개발 - 초경량 센서 기반 가상 터치패드 인터랙션 기술 개발 - 원거리 가상객체 조작 오류 최소화 프레임워크 개발 - 공유 시선 정보 양방향 피드백 인터페이스 구현
o 5G MEC 기반 VR/AR 인터랙션 인프라 구축 완료 - 이통사(LGU+) 상용 5G 망 기반 MEC 테스트베드 구축 완료 - 다중 사용자용 AR 인터랙션 콘텐츠 서비스의 구동 및 통합 시험 완료 - 상용 5G 상용 테스트베드 성능 시험 및 타 지역 망 시험을 통한 검증 완료
o 다중참여자 간 협업 인터랙션 동기화 및 통합 프레임워크 기술 개발 - 다중 참여자 실시간 동기화용 분산형 서버 구축 완료 - 다중 참여자 동기화를 위한 서비스 관리 성능 최적화 모듈 구현 - AR 인터랙션 콘텐츠 서비스의 동기화용 SDK 구현 - 스마트팩토리 다중 참여자 협업 훈련 서비스 개발 및 성능 시험 완료
o 경량형 AR 글래스 기반 원격 협업 콘텐츠 서비스 기술 개발 - AR 글래스를 활용한 공교육 현장 시범 수험용 콘텐츠 기획, 설계 및 제작 - AR 인터래션 기반 교사 및 학생용 원격 수업 기능 모듈 구현 - AR 글래스 기반 원격 협업 솔루션 개발 및 현장 시범 운영 진행 - AR 콘텐츠 서비스의 공교육 현장 지원 효과 분석 모델 연구 수행
[정량적 연구 결과] o 모든 평가항목들에 대해 최종 목표를 달성함 (일부 항목들은 초과 달성) - 인터랙션 반응속도(다중 참여자 반응속도 평균) (ms) ⇒ 최종 목표: 100ms 이하, 최종 달성: 65.32ms - 실·가상공간 정합 오차 (다중 참여자 오차 평균) ⇒ 최종 목표: 2cm 이하, 최종 달성: 1.75 cm - 가상공간 실시간 동시 협업 인터랙션 가능 인원 (명) ⇒ 최종 목표: 10명 이상, 최종 달성: 20명 (공인인증: 10명) - VR/AR 인터랙션 예측/변환 지연 시간 (ms) ⇒ 최종 목표: 20ms 이하, 최종 달성: 7.23ms - 인터랙션 가능 공간 크기 (단일 공간/확장 공간) (m²) ⇒ 최종 목표: 50m² 이상, 최종 달성: 52.26m² - VR/AR QoI 평가 정확도 (%) ⇒ 최종 목표: 85% 이상, 최종 달성: 95.41% - 손가락 위치 추정 평균오차 (mm) ⇒ 최종 목표: 45.33mm 이하, 최종 달성: 45.32mm
o 당해연도 정량적 실적 목표를 달성 - 특허: 국제출원 8건 달성(2건 출원 진행 중 포함), 국내 출원 14건 달성 - 논문: SCI급 논문지(IEEE Transactions 등) 5건 게재 해외 최우수 학술대회(CHI/UIST/ICCV) 발표 6건 포함 총 15건 발표 - 표준화: 국제(IEEE 3079) 기고서 제출/채택: 7건/5건, 표준안 채택 1건 달성 국내(TTA, 포럼) 기고서 제출/채택: 6건/5건. 표준안 채택 5건 달성 - 기술이전: 손움직임 추적 기술 1건 달성(3,300만원, ‘21.12.08.), 추가 2건 협의 진행 중 (각 5,000만원, ’23.02. 현재) - 사업화: 참여기업(스트라토(주), ㈜맥스트) 자가실시 3건 달성(10,815만원) - 성과홍보: 전시회, 국내 언론보도, 국제 인터넷미디어 보도 등의 국내·외 홍보 10건 - 시제품 제작: AR 글래스 기반 다자참여 과학교육 시범콘텐츠 등 9건 제작 - SW등록/기술문서: 손움직임 추적모듈 등 SW 등록 13건, 기술문서 65건 등록
□ 연구개발성과 활용계획 및 기대 효과 [활용계획] o 고정밀/고속 핸드포즈 추정 기술의 기술이전 및 사업화 추진 - 글로벌 경쟁 기술과 대비 강인성/속도 측면에서 지속적인 우월성 확보 추진 - 다양한 VR/AR/XR 어플리케이션에서 사용자 친화적인 상호작용 수단 제공 o 사교육 분야에서 비대면 원격 학습을 도입 - 기존의 가정방문을 통한 대면 지도를 AR 기반으로 가상공간에서 비대면 실현 - 학생의 경우 가정에서 접속하여 XR 공간(메타버스)에서 소통 및 협력학습 o EBS의 비대면 온라인을 통한 공교육 강화 - 코로나 상황에 대응하여 신 온라인 교육 플랫폼인 “온라인클래스” 운영 확대 - EBS 공교육 강화 일환으로 본 연구결과물 기반 XR 원격 비대면 기술을 활용 - 과기부-교육부 부처 협력으로 공교육 XR 원격 교육 기반 마련에 기여 - 공교육 서비스 강화를 위한 전국민 서비스 확대 추진(벽지.소외지역 포함) o 제조분야에서 원격 모니터링 및 관제 서비스에 연구결과물 도입 - 메타버스/디지털트윈 기반의 B2B 수요처 발굴 및 사업화 추진 - 제조, 건설, 유통 등의 다양한 스마트팩토리 서비스 솔루션 사업화 추진 - 대학교, 지자체 및 공공기관 대상의 AR 콘텐츠 서비스 솔루션 사업화 추진
[기대효과] o 국내 이통사 보유의 기존 클라우드 VR/AR 콘텐츠 플랫폼은 영상 시각 체험만 제공하는 등 기술적 한계가 존재. 당 VR/AR 인터랙션 기술 탑재에 의한 상호작용성 제공으로 신차원의 콘텐츠 체험 서비스 창출 가능 o VR/AR 인터랙션 콘텐츠 제작을 위한 효율적인 제작 및 실용성 검증 방법/ 절차를 제시하여, 신제품 출시를 통한 적시 시장 진출 실현 o VR/AR 콘텐츠 서비스에 사용자 의도 파악 기반의 친화성을 부여하여, 해당 서비스를 지속 소비할 수 있도록 함. 신차원의 킬러 VR/AR 서비스 출시 및 시장 창출이 가능 o 핵심 원천 기술 기반 표준 특허 확보를 통한 국내외 MEC 기반 VR/AR 콘텐츠 시장 신규 확대
(출처 : 요약문 4p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.