본 이전기술은 XD미디어를 기반으로 실감 콘텐츠로부터 오디오햅틱 실감효과를 추출하거나, VR 콘텐츠 저작자가 VR 영상으로부터 이벤트 타입의 실감효과를 저작할 수 있는 기능을 제공한다. 이를 기반으로 생성된 실감 효과 SEM을 편집하여 재현 시뮬레이션 할 수 있는 인터페이스를 포함하는 XD미디어 실감효과 저작 플러그인 기술임
- 4D로 대변되는 실감미디어 시장은 국내·외적으로 개방형 실감미디어 제작 및 유통 활성화를 위해서는 영상을 기반으로 한 수작업 형태의 미디어 저작환경에서 벗어나 미디어 영상 분석을 통한 실감효과 정보 자동 추출 및 메타데이터로의 저작 기술이 필요한 현실
- 다양한 영상콘텐츠로부터 실감효과(모션/진동/조명/팬/에어젯/워터젯/버블 등) 삽입을 위해 수십 회 반복 시청 및 수동 삽입과정으로 인해 일반영상과의 동시 상영이 어려우며, CGV에 따르면 일반적으로 5명의 에디터들이 편당 100회 이상 반복 시청을 통해 4D효과 삽입에 15~30여일의 제작과정이 소요 됨
- 실감미디어 저작은 소수의 전문가가 수동 저작하는 환경으로 4D 효과 작업을 위한 새로운 직종도 탄생
- 국내 CGV의 경우, 영사 기사와의 인터뷰에 따르면 4D 상영을 염두에 두지 않은 일반 영화에 4D 신호를 입혀서 상영하는 것은 세계에서 처음으로 시도되었던 일로 홍보 및 광고, 게임, 교육 콘텐츠의 경우 콘텐츠 생산 속도를 맞추기 힘듦
- 실감미디어에 대한 다양성, 생산성, 저작 용이성 수요는 급증하는 반면, 이들 수요를 충족시킬 수 있는 미디어 저작 환경은 낙후되어 있으므로 수동 저작환경을 탈피할 수 있는 기술 개발이 시급한 실정임
- 콘텐츠 제작비용의 상당 부분을 차지하는 비싼 외산 SW 라이선스 비용을 절감하고자 하는 산업체 요구 증가
- 3D 애니메이션 및 디지털 콘텐츠 제작 업체들은 많으나, 고액의 라이선스 비용이 중소기업에게 큰 부담으로 작용
- 국내 콘텐츠 관련 업계 개발자 중 상당수가 국산 저작 도구 사용의사를 밝혀 시장 개선 가능성 존재
- 전시 미디어나 광고 및 영상 제작물의 경우 트렌드에 맞는 신속한 유통이나 디바이스에 독립적인 범용성이 요구되는 분야임
- 현재는 콘텐츠의 변경에 맞게 하드웨어의 유연한 포용성이 요구되나 현재 운용되는 영상관이나 전시관은 전시미디어에 콘텐츠가 고정형으로 설치되어 있는 경우가 대부분임
- 체험관이나 홍보관 혹은 박물관에 설치된 실감 콘텐츠의 경우, 신속한 교체나 업그레이드를 위한 생산성이 요구되고 있으나 현재는 수작업에 의존하므로 관람객의 재방문율을 떨어뜨리고 있으며 점차 집객요건이 낮아짐에 따라 공동화 되어 당초 체험관의 건립 취지와는 다르게 운영비만 소진되는 골칫거리로 전락되는 경우가 비일비재함
. 영상 콘텐츠 저작 시점뿐만 아니라 기 저작된 영상 콘텐츠에 대한 오디오 실감효과 자동 추출 및 VR콘텐츠 플러그인 저작 기술 적용을 통해 다양하고 풍부한 콘텐츠의 실감미디어 재구성 활용도 증대를 통한 서비스 활용에 활용
. 다수의 디바이스와 주변 환경의 상호연동·융합을 위한 실감미디어 저작기반 기술 확보를 통한 신서비스 분야 창출에 활용
. 스포테인먼트, 게임, 광고, 시뮬레이션 등 다양한 서비스 개척을 통한 한류 콘텐츠 활성화 기여
. 게임을 비롯한 자동차, 조선, 항공 등 주요 제조업 분야부터 과학기술연구 분야, 건설 및 건축업, 국방, 의료, 교육, 디자인, 마케팅 분야 등으로 가상/증강현실 기술이 확대 적용 가능하도록 확장성을 고려한 인터랙티브 인터페이스기반의 가상/증강현실 콘텐츠 저작도구를 통한 응용분야 확대
. 실감효과 편집을 위한 저작 도구, 실감효과 플레이어, 실감효과 재현 시뮬레이터 등의 실감미디어 재현 솔루션 상용화
. 저작에 소요되는 시간 및 비용을 최소화할 수 있는 XD미디어 저작도구 SDK를 콘텐츠 보급 및 유통 기능을 포함하는 플랫폼으로 확장하여 국내외의 수요자에게 혁신적인 콘텐츠 제작과 보급, 유통 환경을 제공
. 방송 콘텐츠와의 결합으로 한류 드라마, 음악, 게임 등으로 XD미디어 적용 콘텐츠를 확산하고 가정을 중심으로 시각과 청각 중심의 방송 콘텐츠를 현실세계의 물리적인 다양한 공간으로 확대할 수 있는 기반을 마련
1. 기술이전 내용
“XD미디어 실감효과 저작 플러그인 기술”로써 “오디오기반 실감효과 저작 기술”과 “VR콘텐츠를 위한 실감효과 저작 플러그인 기술”을 제공한다.
- “오디오 햅틱 기반 실감효과 저작 기술”은 다채널 오디오 신호로부터 음원의 위치를 추정하여 음원의 위치 변화에 따른 방향성이 강조된 멀티채널 진동 신호를 생성하고, 이를 MPEG-V 표준 규격의 SEM으로 변환하는 기능인 ‘오디오기반 방향성 햅틱효과 생성 엔진’을 제공
- 다채널 오디오 신호로부터 생성하는 방향성 햅틱효과는 동시에 여러 위치에서 사용자의 촉각을 자극하게 되는 햅틱효과로, 위치에 따라 각기 다른 진동 신호를 동시에 재생할 수 있는 실감효과를 의미함
- 2채널 및 5.1채널 오디오 신호가 포함된 mp4 및 mkv 포맷의 동영상을 입력 미디어로 모두 지원함
- 다채널 진동 신호를 MPEG-V 표준 규격인 VibrationType SEM(Sensory Effect Metadata)과 TactileType SEM으로 변환하는 기술을 포함함
- “VR콘텐츠를 위한 실감효과 저작 플러그인 기술”은 XD미디어 실감효과 저작 및 재현을 VR 콘텐츠 상에서 수행하기 위한 유니티용 실감 및 모션효과 저작 플러그인 기술을 제공
- VR 콘텐츠 저작 및 프로듀싱을 위해, 플러그인을 제공하여 게임 오브젝트 기반으로 실감효과를 생성하고 각각의 효과의 특징 및 재현에 필요한 속성 정보를 편집할수 있는 기술을 포함
- 각각의 실감효과의 속성들은 MPEG-V part3에서 정의된 단위로 조절이 가능하고 이를 SEM(Sensory Effect Metadata)로 생성하는 기술을 포함
A. 기술명 : 오디오 햅틱 기반 실감효과 저작 기술 기술
[1] 오디오기반 방향성 햅틱효과 생성 엔진에서 제공되는 시스템 요구사항 정의서
[2] 오디오기반 방향성 햅틱효과 생성 엔진에서 제공되는 기능 규격서, 설계서 및 소스코드
- 다채널 오디오기반 방향성 햅틱정보 생성 기능
. 2채널 오디오의 음원 위치 추정 기능
. 5.1채널 오디오의 음원 위치 추정 기능
. 음원 위치와의 거리에 따른 방향성이 강조된 6채널 진동 신호 생성 기능
. 방향성 강조 수준을 조절할 수 있는 가중치를 포함하는 audio-to-tactile conversion 알고리즘
- 방향성 햅틱정보의 MPEG-V 표준 규격 SEM 변환 기능
. MPEG-V VibrationType SEM 규격의 방향성 햅틱효과 생성 기능
. MPEG-V TactileType SEM 규격의 방향성 햅틱효과 생성 기능
. XD미디어 저작도구의 실감효과 시뮬레이션 기능을 이용한 방향성 햅틱효과 SEM 검증 및 재현 기능
[3] 시험절차서 및 결과서
B. 기술명 : VR콘텐츠를 위한 실감효과 저작 플러그인 기술
[1] VR 콘텐츠 기반 실감효과 저작 플러그인에서 제공되는 시스템 요구사항 정의서
[2]VR 콘텐츠 기반 실감효과 저작 플러그인에서 제공되는 기능 설계서 및 소스코드
- 유니티 기반 VR 콘텐츠를 위한 실감효과 저작기능
. 저작도구 import 기능
. 게임오브젝트 기반 실감효과 생성/삭제/변경 기능
. 실감효과 속성 편집 기능
. 맞춤형 실감효과 생성 기능
. MPEG-V 실감효과 메타데이터(SEM: Sensory Effect Metadata) 생성 기능
- VR콘텐츠 실감효과 재현 기능
. 소프트웨어 기반 실감효과 시뮬레이션 기능
. 실감 장치를 이용한 재현 기능
. 실감효과 SW 및 HW 재현을 위한 데이터 전송 인터페이스 기능
[3] 시험절차서 및 결과서
- 적용분야
. 이전하고자 하는 기술은 엔터테인먼트 분야뿐만 아니라 교육콘텐츠, 광고, 의료, 디지털사이니지, 시뮬레이터 등 다양한 분야에 차별화된 콘텐츠 저작 분야
. 영화 및 VR 콘텐츠 시장 분야로 4D 영화관 구축 및 운영과 시네마 광고시장으로의 실감 콘텐츠 저작 분야에 활용
. 실감엔터테인먼트 사업으로 체험형 테마파크, 전시관, 영상관 구축등과 관련된 분야에서 실감미디어의 실감효과 저작 분야에 활용
. 교육/게임 분야와 방송/광고 산업 분야에 본 기술을 활용하여 실감 체험형 콘텐츠 저작과 실감 장비의 효율적 활용
- 기대효과
. 영상 콘텐츠 저작 시점뿐만 아니라 기 저작된 영상 콘텐츠에 대한 실감효과 자동 추출 및 저작 기술 적용을 통해 다양하고 풍부한 콘텐츠의 실감미디어 재구성 활용도 증대를 통한 서비스 활용도 확장
. 다수의 디바이스와 주변 환경의 상호연동·융합을 위한 실감미디어 저작기반 기술 확보를 통한 신서비스 분야 창출에 활용
. 스포테인먼트, 게임, 광고, 시뮬레이션 등 다양한 서비스 개척을 통한 한류 콘텐츠 활성화 기여
. 게임을 비롯한 자동차, 조선, 항공 등 주요 제조업 분야부터 과학기술연구 분야, 건설 및 건축업, 국방, 의료, 교육, 디자인, 마케팅 분야 등으로 가상/증강현실 기술이 확대 적용 가능하도록 확장성을 고려한 인터랙티브 인터페이스기반의 가상/증강현실 콘텐츠 저작도구를 통한 응용분야 확대
. 실감효과 편집을 위한 저작 도구, 실감효과 플레이어, 실감효과 재현 시뮬레이터 등의 실감미디어 재현 솔루션 상용화
. 저작에 소요되는 시간 및 비용을 최소화할 수 있는 XD미디어 저작도구 SDK를 콘텐츠 보급 및 유통 기능을 포함하는 플랫폼으로 확장하여 국내외의 수요자에게 혁신적인 콘텐츠 제작과 보급, 유통 환경을 제공
. 방송 콘텐츠와의 결합으로 한류 드라마, 음악, 게임 등으로 XD미디어 적용 콘텐츠를 확산하고 가정을 중심으로 시각과 청각 중심의 방송 콘텐츠를 현실세계의 물리적인 다양한 공간으로 확대할 수 있는 기반을 마련