ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

User Motion Tracking and Recognition Technique v2.5 for AR Indoor Sports

Manager
Kim Jong Sung
Participants
Kim Jong Sung, Yang Seong Il, Minsung Yoon, Jang Sihwan
Transaction Count
2
Year
2022
Project Code
22IH1500, Development of Real-time Augmented Reality Indoor Sports Platform Based on Indirect Sensing, Kim Jong Sung
21IH1100, Development of Real-time Augmented Reality Indoor Sports Platform Based on Indirect Sensing, Kim Jong Sung
- 본 기술은 스크린 기반 AR을 통해 실내 스포츠를 체험하는 AR 실내 스포츠 플랫폼 및 콘텐츠에 필요한 기술임
- 본 기술은 실내에 설치된 다시점 RGB-D 카메라를 통해 사용자의 모션을 획득하고 추적하는 기술에 관한 것임
- 본 기술은 사용자 모션 데이터에 대한 머신러닝을 통해 사용자의 모션을 학습하고 인식하는 기술에 관한 것임
- 본 기술은 기술이전 책임자와 사전에 협의된 경우에만 기술이전이 가능함
- 본 기술의 목적은 미세먼지, 황사, 폭염 등 영향 없이 사용자가 실내에서 실제 볼이나 선수 대신 AR을 통해 증강된 가상 볼이나 선수를 통해서 스쿼시/테니스와 같은 구기 스포츠와 복싱/태권도와 같은 비구기 스포츠를 그리고 피트니스와 같은 트레이닝 등을 일반인부터 노약자까지 체험 할 수 있도록 하는 것임
- 최근 글래스 AR 또는 모바일 AR을 통한 다용한 체험 플랫폼 및 콘텐츠가 개발되고 있으나, 스포츠 분야의 경우에는 글래스와 같은 착용형 장비나 모바일과 같은 이동형 장비는 사용하기 어렵고, 스크린 AR과 같은 비착용형 장비와 다시점 RGB-D 카메라와 같은 간접 센싱 기술이 필요하나 개발된 기술이 없는 실정임
- 본 기술은 비착용형 AR 실내 스포츠 체험 플랫폼 및 콘텐츠 개발에 필요한 객체증강 및 인터랙션을 위해서 코트를 향해 설치된 다시점 RGB-D 카메라를 통해서 객체증강에 필요한 사용자의 영상/모션 데이터를 획득하고, 인터랙션을 위해 사용자의 모션 추적 및 인식에 필요함
- 본 기술은 실내에 설치된 다시점 RGB-D 카메라를 최대 3대까지 동시에 사용할 수 있고, 이를 통해 다중 사용자의 영상 및 모션 데이터를 획득하며, 획득된 모션 데이터는 USB를 통해 AR 스포츠 플랫폼 및 콘텐츠에 전송할 수 있음
- 본 기술은 사용자에 대해 다시점 모션 데이터를 중앙 RGB-D 카메라의 영상 좌표계로 변환한 후 정합할 수 있고, 최대 4명의 사용자에 대해 23개 관절로 구성되는 모션을 동시에 추적하거나 최대 2명의 사용자에 대해 9종의 모션을 동시에 인식할 수 있으며, 사용자 모션 추적 및 인식 데이터는 UDP를 통해 AR 스포츠 플랫폼 및 콘텐츠에 전송할 수 있음
<기술이전 내용>
- AR 실내 스포츠 플랫폼과 콘텐츠에 필요한 사용자 모션 추적 기술 v2.5(1세부기술), 사용자 모션 인식 기술 v2.5(2세부기술)로 구성
- 본 기술은 기술이전 책임자와 사전에 협의된 경우에만 기술이전 가능
- 전체 기술이전이 원칙이며, 세부기술로 기술이전은 협의된 경우만 가능
ㅇ 1세부기술: 사용자 모션 추적 기술 v2.5
- AR 실내 스포츠 플랫폼 및 콘텐츠를 위해 실내에 설치되고 보정된 다시점 RGB-D 카메라를 이용한 사용자 모션 획득 기능과 시공간 상에서 사용자의 모션을 추적하는 사용자 모션 연결 기능을 제공
ㅇ 2세부기술: 사용자 모션 인식 기술 v2.5
- AR 실내 스포츠 플랫폼 및 콘텐츠를 위해 머신러닝을 통해 모션을 인식하기 위한 모델을 생성하는 사용자 모션 학습 기능과 생성된 모션 모델을 통해 모션을 인식하는 사용자 모션 검출 기능을 제공

<기술이전 범위>
ㅇ 공통제공
- AR 실내 스포츠용 사용자 모션 추적 및 인식 기술 v2.5 요구사항정의서 1종
- AR 실내 스포츠용 사용자 모션 추적 및 인식 기술 v2.5 시스템상세설계서 1종
- AR 실내 스포츠용 사용자 모션 추적 및 인식 기술 v2.5 시험절차및결과서 1종
ㅇ 1세부기술: 사용자 모션 추적 기술 v2.5
- 다시점 RGB-D 카메라 기반 사용자 모션 추적 SW v2.5 소스코드 및 실행파일 1종
- 다시점 RGB-D 카메라 기반 사용자 모션 추적 SW v2.5 사용자 매뉴얼 1종
ㅇ 2세부기술: 사용자 모션 인식 기술 v2.0
- 머신러닝 기반 사용자 모션 인식 SW v2.5 소스코드 및 실행파일 1종
- 머신러닝 기반 사용자 모션 인식 SW v2.5 사용자 매뉴얼 1종
- 본 기술은 실내에 설치된 다시점 RGB-D 카메라를 통해 다중 사용자에 대한 영상/모션 데이터 획득과 모션 추적 및 인식이 가능하고, 실제 볼이나 선수 대신에 스크린 AR을 통해 증강된 볼이나 선수를 통해서 스포츠를 체험하기 때문에 일반인부터 노약자까지 쉽고 안전하게 다양한 구기/비구기 스포츠를 체험하는데 활용할 수 있음
- 본 기술은 모션 추적 및 인식을 위해 부착형 센서 대신 간접 센싱 기반 다시점 RGB-D 카메라 기반 간접 센싱 기술을 사용하고, 글래스/모바일 AR 대신 스크린 AR 기술을 사용하기 때문에 스포츠 활동에 가장 최적화된 AR 기술인 관계로, 학교체육시설, 생활체육시설, 복합문화시설 등과 같은 공공분야와 스크린스포츠, 스포츠테마파크, 체감형게임장 등 민간분야에서 AR 실내 스포츠 활성화에 기여할 수 있음