실시간 영상에서 다수 신체 동작의 3차원 좌표를 실시간으로 추적하여 가상 콘텐츠 내에서 실가상 융합 인터랙션을 구현할 수 있는 기반 기술을 이전
● 목적
- ETRI 수행 중인 “실시간 실가상 융합 공연예술 교육 플랫폼 개발” 과제에서 개발된 ”영상 기반 다수 신체 입체추적” 기술을 업체에 기술 이전하여 공연예술이나 아동 교육 등 각종 가상현실(VR)을 활용하는 인터랙션 콘텐츠/서비스 분야에 활용하도록 함.
● 필요성
- 해당 기술은 국내외적으로 큰 영향력을 가진 K-댄스를 대중이 언제 어디서든 온라인으로 실습하고 체험할 수 있도록 K-댄스 장르 특화 플랫폼으로 확장으로 시장 확대하기 위한 목적으로 개발됨
- 이 때 복잡하고 빠른 동작을 포함한 댄스/안무의 효과적인 표현을 위해 가상 환경과 실제 환경을 융합한 실가상 융합 기반 원천기술을 확보하기 위한 기술적 요구사항이 중요시됨
- 핵심 요구사항으로 K-댄스의 특징인 (1) 군무 표현 및 (2) 빠른 동작, 그리고 (3) 복잡한 동작 표현을 위해서는 다수 신체의 3차원 좌표를 영상으로부터 실시간으로 추적하는 기술의 확보가 필요
- 해당 기술은 K-댄스만이 아닌 공연, 생활체육 등 현황 다목적의 실시간 신체 기반 가상현실 콘텐츠 서비스에도 같은 필요성이 요구됨
ㅇ 기술의 특징
- Python 기반으로 제작, Deep Learning을 활용하여 기초된 데이터 기반 모델과 깊이맵에 대한 카메라 좌표를 기반으로 한 규칙 기반 모델에서 필수적인 요소를 융합하여 총 35개의 3차원(x, y, z) 신체 좌표(머리, 몸통, 손발 등)를 3차원상의 입체 좌표로 통합 및 정보화하는 한편, 이를 시각화하는 기본 인터페이스 또한 함께 제공
- 웹캠이나 Youtube 등 미디어 플랫폼에서 획득할 수 있는 다양한 해상도(HD, FHD 등)의 영상이 총체적으로 적용 가능
- OS 환경에 구애받지 않은 PC에 내재된 공유 메모리를 활용한 고속화된 정보 전달을 기법으로 다른 응용 프로그램이나 플랫폼으로 실시간 전달이 가능
- 공유 메모리에 기반하고 있기에, 특정 응용 프로그램의 환경에 구애받지 않을 뿐만 아니라 네트워크 서버 구축 등의 확장에도 함께 연동할 수 있는 구조로 개발되어, 다양한 분야의 VR 콘텐츠 개발에 맞춤형으로 활용될 수 있음
ㅇ 기술의 주요 장점
- 실시간 영상 처리 기술을 기반으로 개발되었으며, 기존 실시간 영상 처리 기술보다도 기존 단일 개체의 추적이나 2D 신체 정보보다 더욱 폭넓은 정보량을 보다 빠른 속도로 제공할 수 있는 독보적 기술
- 신규로 개발된 디바이스 등을 통해 처리된 정보를 실시간으로 표현할 수 있기에, 시각 피드백에 기반한 시각 인터페이스만이 아닌 청각, 촉각(햅틱) 등 다양한 다감각 피드백에도 적용할 수 있어 실시간 제어(Real-time Control) 분야로 확장성이 용이
- 직관적으로 3차원 좌표를 시각화할 수 있는 기본 인터페이스를 통한 신체 분석 기술과도 연관성이 높음
<기술이전 내용>
- MultiPose3D: 실시간 영상 기반 다수 다차원 포즈 추출 기술 및 SW v1.0
<기술이전 범위>
- “MultiPose3D: 실시간 영상 기반 다수 다차원 포즈 추출 기술 및 SW v1.0” 요구 사항 정의서
- “MultiPose3D: 실시간 영상 기반 다수 다차원 포즈 추출 기술 및 SW v1.0” 관련 기술 자료
- “MultiPose3D: 실시간 영상 기반 다수 다차원 포즈 추출 기술 및 SW v1.0” 구동 SW
- 본 기술이전을 통해 서비스 및 사업화를 진행하여 공공 콘텐츠 제공을 통한 명망있는 국내외 K-콘텐츠의 경쟁력 향상
- 기초적으로 VR 체험형 콘텐츠에 관심있는 국민(아동, 환자 등)을 대상으로 엔터테인먼트, 교육 분야 활용 콘텐츠로 기술을 적용하여 출범, 이를 통한 창의적인 가상 콘텐츠 서비스 강화
- 추후 높아지고 있는 다양한 문화산업 방면으로 확대하여 대외적인 K-콘텐츠의 산업 경쟁력 향상
- 본 기술이전의 최종 기대효과로 더욱 잠재력 높은 시장인 K-댄스, 모션 기반의 실가상 융합 메타버스 新 사업 모델 창출을 위한 교두보로 활용 가능