본 기술은 스마트폰, 태블릿 등의 모바일 단말 2D 카메라로 획득된 영상 데이터를 처리하여 휴먼의 동작 및 패턴을 분석하고 평가하는 기술이다. 모바일 단말에 탑재되어 동작하는 경량화 기술이므로 서버와의 통신이 필요하지 않다.
본 기술은 홈트레이닝을 위한 피트니스 동작의 분석에 초점을 맞춘 기술이나, 기업의 요구에 따라 다양한 휴먼 동작에 대해서 분석 및 평가를 할 수 있도록 쉽게 변경할 수 있다.
본 기술은 아래와 같이 2가지 요소 기술로 구성된다.
(휴먼 포즈 추정 기술과 동작 분석 기술)
첫 번째 기술은 휴먼 포즈 추정 기술이다.
휴먼 포즈 추정 기술은 입력된 2D 영상에서 휴먼의 골격 정보에 해당되는 관절들(Joints)의 위치를 검출하는 기술이다. 본 기술은 동작 분석을 위해 선행되는 기술로써 정확한 관절 위치의 검출과 고속 처리가 요구된다. 본 기술의 개발을 위해서 10만 장의 피트니스 자세 데이터셋을 수집하였으며, 딥러닝 기법으로 포즈 추정 모델을 학습하였다. 또한 다양한 모델 경량화 기법을 적용하여 모바일 단말에서도 고속 처리가 가능하다.
두 번째 기술은 동작 분석 기술이다.
동작 분석 기술은 추정된 관절 정보를 입력받아 휴먼의 동작을 분석하고 평가하는 기술이다. 전문 트레이너의 표준 동작과 카메라로 입력받은 학습자의 동작을 비교하여 학습자가 해당 동작을 얼마나 잘 수행하고 있는지에 대한 비교 분석 결과를 제공하는 기술이다.
학습자가 해당 동작을 몇 회나 반복하였는지를 자동으로 카운팅 할 수 있는 기능이 제공된다. 또한 학습자의 신체 부위 단위로 동작을 분석함으로써 전체 동작 뿐만 아니라 바디 파트별로 자세 정확도를 제공할 수 있는 특징이 있다.
ㅇ 스마트폰 및 스마트홈의 개발에 대한 소비자 인식이 제고되면서 글로벌 동작인식 시장이 점점 커지고 있음
ㅇ 동작인식 기술의 전세계 시장 규모는 2024년까지 약 436억 달러에 이를 것으로 예상됨. 2024년까지 연 16.2% 속도로 성장할 전망임
ㅇ 본 기술은 동작인식 및 행동인식을 기반으로 하는 다양한 콘텐츠 및 서비스에 활용될 수 있는 핵심 기반 기술로써 운동 콘텐츠, 게임 콘텐츠 등 관련 산업의 시장 확대 및 신규 시장의 창출이 가능함
1) 휴먼 포즈 추정 기술
ㅇ 휴먼 관절의 위치를 높은 정밀도로 검출 가능
- 특히 피트니스/요가 자세에서의 관절 위치 검출에 특화
- OpenPose 대비 정확도에서 비교 우위에 있음
ㅇ 모바일 단말에 탑재되어 고속으로 관절 위치 검출이 가능
- 1프레임 처리 속도 30ms 이하 (애플 아이폰 11 단말기 기준)
2) 휴먼 동작 분석 기술
ㅇ 사용자와 환경의 변화에 강인한 휴먼 동작 분석 가능
- 주위 환경과 휴먼의 체형 변화에 강인한 동작 분석 및 평가
- 고속 동작 분석을 통한 실시간 평가와 피드백 가능
ㅇ 상세하고 체계적인 동작 분석 평가 정보를 제공
- 신체 부위별 세부 관절 동작 분석 평가 결과를 제공
- 서비스 대상 동작 특성을 고려하여 기술의 최적화 작업을 지원
ㅇ기술내용
- 휴먼 관절의 위치를 검출하는 포즈 추정 기술
- 반복된 사용자의 동작에 대한 동작 횟수 카운팅 기술
- 카운팅 된 동작에 대한 정확도 평가 결과 제공 기술
ㅇ기술범위 : 모바일 단말용 시각 인공지능기반 휴먼 동작 분석 기술
- 휴먼 동작 분석 엔진 (Android, iOS 및 C++ NDK 소스 제공)
- 휴먼 동작 분석 프로토타입 앱 (Android 소스 제공)
- 표준 동작 생성 프로그램 (C++ 소스 제공)
- 기술 문서들(사용 설명서, 성능평가 시험절차서 및 결과서)
ㅇ게임(인터렉티브 배틀 게임) : 게임시장 활성화, 동작인식 관련 신산업 창출
ㅇ학교교육(학교 교육 시스템, 에듀테인먼트 시스템) : 교육 학습 증진, 신체 균형 발달
ㅇ청소년문제(그룹 댄스 경연 대회, 댄스 창작 대회) : 게임중독 중재, 학교폭력 완화
ㅇ의료재활(동작기반 재활 클리닉, 비만 클리닉) : 자발적/지속적 재활, 힐링 및 스트레스 해소
ㅇ저작권(동작관련 저작권 징수 시스템) : 전문가 동작 저작 지원, 동작관련 저작권 보호 체계 확립