ETRI-Knowledge Sharing Plaform

- 뎁스 카메라를 통해 얻어진 뎁스 영상으로부터 사용자를 검출하고, 사용자 영역을 픽셀 레벨로 얻어내며, 그로부터 사용자의 스켈레톤을 추출할 수 있도록 함
- 어플리케이션 별로 특화된 스켈레톤 추출이 가능하도록 특정 자세에 대한 DB 구축 및 학습이 가능하도록 함
- 사용자 스켈레톤 추출 기술을 적용하여 사용자의 골프 스윙 자세/동작을 자동으로 분석, 피드백할 수 있음

1. 최근 뎁스 센서에 기반한 사용자 자세추정, 동작인식 기술을 통해 사용자의 동작을 분석하여 인터페이스로 활용하거나, 유용한 정보를 제공하기 위한 많은 시도가 있으며, 스포츠, 게임, 교육 등의 다양한 시장에서 수요가 점차 증가하고 있음
2. 스켈레톤 추출 기법을 활용한 골프 스윙 분석 시스템은 국내 및 세계 시장에서 최초로 도입되는 시스템으로 신개념의 스포츠 동작 자동 분석 분야에 대한 기술선점이 가능함
3. 본 시스템은 이러한 시장의 상황에 맞추어 자세추정/동작인식 기술을 스포츠 동작 분석 시스템/콘텐츠에서 손쉽게 사용할 수 있도록 사용자 영역 검출, 사용자 스켈레톤 추출, 스켈레톤 추출기 학습의 세 가지 부분으로 모듈화 하여 소스코드 및 컴파일된 실행파일의 형태로 제공함

1. 동작인식 기술
1.1. 뎁스 센서에서 얻어진 뎁스 영상으로부터 사용자 영역을 검출하는 기능
1.2. 뎁스 영상으로부터 검출된 사용자의 스켈레톤을 추출하는 기능
1.3. 사용자 뎁스/스켈레톤 DB로부터 스켈레톤 추출기를 학습하는 기능
1.4. 스켈레톤 추출 기술을 통해 골프 스윙 분석에 적용이 가능

1. 사용자 스켈레톤 추출 라이브러리
1.1. 뎁스 영상으로부터 사용자를 검출하고 그 영역을 추출하는 기술
1.2. 뎁스 영상으로부터 검출된 사용자에 대한 스켈레톤을 추출하는 기술 (14개 관절: 머리, 목, 어깨x2, 팔꿈치x2, 손x2, 골반x2, 무릎x2, 발x2)
2. 사용자 스켈레톤 추출기 학습 소프트웨어
2.1. 학습 DB로 사용할 뎁스 영상을 캡처하는 기능
2.2. 캡처된 뎁스 영상에 Ground Truth 관절 정보를 입력하는 기능
2.3. 구축된 학습 DB로부터 스켈레톤 추출기를 학습하는 기술
3. 스켈레톤 추출에 기반한 골프 스윙 분석 콘텐츠
3.1. 사용자의 골프 스윙을 검출하고, 추출된 스켈레톤 정보에 기반하여 스윙 자세/동작을 자동으로 분석하는 기능

1. 용자 스켈레톤 추출 라이브러리
1.1. 사용자 검출 및 사용자 영역 추출 API, 라이브러리
1.2. 사용자 전신 스켈레톤 추출 API, 라이브러리
2. 사용자 스켈레톤 추출기 학습 소프트웨어
2.1. 학습 DB로 사용을 위한 뎁스 영상 캡처 소프트웨어, 소스코드 (C++)
2.2. 캡처된 뎁스 영상에 Ground Truth 관절 정보를 입력하기 위한 소프트웨어, 소스코드 (C++)
2.3. 구축된 학습 DB로부터 스켈레톤 추출기를 학습하는 소프트웨어, DB관리를 위한 일부 소스코드 (Matlab)
3. 골프 스윙동작 데이터 베이스
3.1. 23,000 프레임의 골프 스윙의 컬러, 뎁스, 관절 정보 일치 데이터 (Binary)
4. 스켈레톤 추출에 기반한 골프 스윙 분석 콘텐츠
4.1. 사용자 스켈레톤 추출 라이브러리를 활용한 골프 스윙 분석 소프트웨어, 소스코드 (C++)
4.2. 골프 스윙 분석 결과의 가시화 및 인터페이스를 위한 소프트웨어, 소스코드 (C#)

1. 스켈레톤 기반의 스윙동작 분석 및 학습 기술은 스크린골프 시장뿐만 아니라 동작인식 기반 헬스케어 등 새로운 시장의 창출로 이어질 것으로 기대됨
2. 스윙 자동 분석 및 가시화를 통하여 기존의 레슨프로의 고가 강습 이외에도 저가의 비용으로 독학으로 골프를 학습할 수 있는 환경이 제공될 것으로 전망됨