23ZH1200, The research of the fundamental media·contents technologies for hyper-realistic media space,
Lee Tae Jin
Abstract
□ 과제수행 목표 및 내용 ◎ 최종 목표 ㅇ 초실감 서비스 기술 선도를 위한 미디어 원천기술 개발 • 초실감 세컨드 스페이스 실현을 위한 다중센서/지능정보기반 공간영상 생성 및 재현 핵심기술 개발 • 실시간 소통과 체험을 위한 저지연/고품질 동시지원 음향 압축 기술 개발 및 표준화 • 축적된 다양한 종류의 콘텐츠를 시나리오에 맞게 창작할 수 있는 인터랙티브 미디어 창작 플랫폼 핵심기술 개발 및 시범서비스 • 발달장애인의 가상직업훈련을 위한 실감 인터랙션 기술/맞춤형 가상 중재콘텐츠 기술 개발 및 시범서비스 • 기존 2D 서비스 호환성을 유지하며, 전송효율을 극대화하는 사용자 선택형 초고화질 입체 미디어 서비스 기술 개발
◎ 1단계 ● 목표 ㅇ 초실감 서비스를 위한 원천기술 개발 - 고밀도 조밀 공간데이터 생성 및 메쉬/텍스처 매핑 기술 연구 - 저지연 기반 고품질 음향 압축 요소기술 구현 및 검증 - 발달장애인 실감훈련을 위한 인터랙티브 콘텐츠 기술 개발 - 사용자 선택형 입체미디어 부호화 알고리즘 개발 - 인터랙티브 미디어 창작 서비스 플랫폼 성능 고도화 및 플랫폼 시범서비스 확대
● 내용 - 이종 센서기반 공간데이터 정합 및 정제 기술 및 다시점 영상 기반 조밀 공간데이터 정제 기술 연구 - 저지연/고품질 음향 압축 베이스라인 코덱 및 공간음향 렌더링 기술 구현 - 실-가상 혼합 기반 실감훈련 인터랙티브 콘텐츠 기술 및 직업훈련 동작인식 기반 훈련 상태분석 및 피드백 기술 구현 - 사용자 선택형 입체미디어 부호화 및 화질개선 핵심 알고리즘 연구
◎ 2단계 ● 목표 ㅇ 초실감 시범서비스 - 초실감 세컨드 스페이스 실현을 위한 다중센서/지능정보기반 공간영상 생성 및 재현 핵심기술 개발 - 저지연/고품질/고효율 음향 압축 기술 통합 및 검증 - 가상중재 기반 개별 맞춤 실감훈련 콘텐츠 기술 개발 - 사용자 선택형 입체미디어 서비스 핵심기술 개발
● 내용 - 고정밀 공간영상 생성 및 인터랙티브 재현 핵심기술 개발 - 저지연/고품질/고효율 음향 압축 요소기술 통합 및 검증 - 가상 중재 콘텐츠 유형화 및 동기화, 발달장애인 개별 맞춤 감각융합 기술 구현 - 사용자 선택형 입체미디어 부호화 및 화질개선 핵심 알고리즘 성능고도화
◎ 3단계 ● 목표 ㅇ 초실감 서비스 실현 - 저지연/고품질/고효율 음향 압축 기술 성능 고도화 및 표준 기술 연구 - 사용자 선택형 입체미디어 시범서비스
● 내용 - 음향 압축 기술 성능 고도화, 음향 압축 복잡도 개선, 고속화 기술 개발 및 국제표준화 연계 및 대응 - 사용자 선택형 입체미디어 부호화 알고리즘 성능검증
◎ 당해 연도 ● 목표 ㅇ 난제 객체 공간영상 생성 및 재현 기반 기술 연구 ㅇ 저지연 기반 고품질/고효율 음향 압축 요소기술 연구 ㅇ 발달장애인 가상 직업훈련 시스템 개발 및 시범서비스 ㅇ 사용자 선택형 입체미디어 부호화 핵심알고리즘 연구/ UHD 입체미디어 스트리밍 서비스 검증을 위한 필드테스트/사용자 인터랙션 인식 기반 입체 영상 재생 기술 연구
● 내용 [초실감 세컨드 스페이스 실현을 위한 공간영상 생성 및 재현 원천기술 개발] ㅇ 광역공간 고품질 동시촬영 획득시스템 기술 개발 ㅇ 다시점 영상 기반 고정밀 공간데이터 생성 기술 연구 ㅇ 기하학 정보 및 깊이정보를 이용한 지능정보기반 공간데이터 생성 기술 연구 ㅇ 공간영상 생성 서브시스템 기술 개발 ㅇ 난제 객체 검출 및 표현 기술 개발 ㅇ 객체별 적응적 메쉬 생성 기술 개발 ㅇ 공간영상의 시각적 연속성 고도화 기술 연구 개발 ㅇ 공간영상 생성, 재현 및 전송 핵심 요소기술 표준화
[실시간 소통과 체험을 위한 저지연/고품질 동시 지원 음향 압축 기술 개발 및 표준화] ㅇ 저지연 프레임 내/간 신호 예측 기반 음향 압축 기술 연구 ㅇ 저지연 잡음 제거 및 후처리 기반 품질 향상 기술 연구 ㅇ 다채널 음향 신호 분석 및 합성 기술 연구 ㅇ 복합 공간모델 기반 음장 모델링 기술 및 공간음향 렌더링 기술 구현
[사용자 선택형 UHD 입체 미디어 서비스 기술 개발] ㅇ 사용자 선택형 입체미디어 부호화 핵심알고리즘 성능고도화 ㅇ 사용자 선택형 UHD 입체미디어 스트리밍 지역 인프라 구축 ㅇ 다중 플랫폼 기반 사용자 선택형 입체미디어 서비스 기술연구
□ 과제 수행과정 및 내용 ㅇ 과제 수행과정 - 기 개발한 공간영상 기술 대비, 목표 개발 기술의 성능 비교 분석을 통해 핵심 요소기술 파악, 비교 우위 정량적 목표 수립 - 음향 압축 관련 기술 동향 조사 및 분석을 통해 저지연을 위한 코덱 구조 설계, 최신 심층신경망 기술 활용 등을 통한 IPR 확보 - 맞춤형 실감 인터랙티브 기술 개발 및 발달장애인 가상직업훈련 콘텐츠 시범서비스 추진 - 사용자 선택형 UHD 입체미디어 시범 서비스를 위한 시스템 구축, 화질개선을 위한 조건부 대체 알고리즘 성능고도화, 해당 분야 IPR 기반 표준화 이슈 제기, 전략 수립을 통한 표준화 ㅇ 과제 수행내용 - 고품질 공간영상 생성을 위한 핵심 요소기술 연구 및 MPEG-I G-PCC 관련 표준화 활동 수행 - 저지연/고품질/고효율 음향 압축 핵심 요소기술 연구 및 코덱 개발 - 실-가상 융합 인터랙티브 콘텐츠 기술, 가장중재 콘텐츠 기술 및 발달장애인 직업훈련 콘텐츠/신체활동 콘텐츠 적용 - 사용자 선택형 UHD 입체미디어 시범서비스 시스템 구축 및 지상파 UHD 시범서비스 수행, 사용자 선택형 입체 미디어 화질 개선을 위한 조건부 대체 알고리즘 연구
□ 과제 수행결과 및 목표달성도 ㅇ 과제 수행결과
ㅇ 과제 수행 목표달성도 가. 과제 수행 목표달성도 (기술개발 성과지표) 나. 공통지표
□ 관련 분야에 대한 기여 ㅇ 관련 분야 과학적·기술적·경제적·사회적 기여 ◇ 과학적 • 딥러닝 기반의 깊이정보 및 자동 주석 생성, 깊이정보 추정 정확도 개선, 스테레오영상 깊이 추정 기술 개발 기여 - SCI(E) 논문 4편 게재, Top-tier 우수 국제학술대회 6편 1편 발표 • 저지연-고품질 음향 압축 및 공간음향 분야 우수 논문 게재를 통한 기술발전 기여 - SCI 논문 3편 투고, Top-tier 우수 국제학술대회 15편 제출/9편 발표 • 기존의 2D 서비스를 유지하며 3D 입체미디어 서비스를 제공하기 위해 Cross-view 기반 사용자 선택형 입체미디어 부호화 기술 및 화질개선 기술개발 - 국내특허출원 2건, 국제 출원 2건, 국제표준기고서 5건 ◇ 기술적 • 공간영상 압축 기술 표준화와 대규모 공간 데이터 생성 및 정합 원천기술 확보 - 국제출원특허(2건), 국내출원특허(12건), 국제표준기고서(10건) • 저지연-고품질 음향 압축 및 공간음향 분야 특허 다수 출원을 통한 원천기술 확보 - 국제출원특허(28건), 국내출원특허(36건) • 사용자 선택형 UHD 입체미디어 서비스를 위한 지상파 UHD Head-End 시스템 구축 및 시범 서비스 수행 - (세계최초) 사용자 선택형 입체미디어 서비스 지상파(부산MBC, KNN) 시범서비스 시스템 구축 및 시험 방송 송출 서비스 완료(23.09.01~12) ◇ 경제적 • SK텔레콤과 미국 싱클레어 방송 그룹에서 합작하여 설립한 Cast.Era와 5G 환경에서 실사 AR 객체를 현장에서 획득/전송 및 클라우드에서 고속생성하는 실증을 통한 공간데이터 서비스 검증함 • 음향 압축 및 공간음향 분야 표준특허 확보를 통한 막대한 로열티 수익 창출 기대(‘30년 이후) - 표준발명 1건 당 기대수익 5억 이상 • 코로나 시대 이후 온라인콘서트, OTT 기반 실감콘텐츠 서비스 분야 관련 시장은 지속 성장 예상 • 지역 내 영상/영화 콘텐츠 기업들과의 기술개발/사업화를 위한 사용자 선택형 UHD 입체미디어 스트리밍 지역 방송 인프라 고도화 기여 및 기술 교류체계 구축 지원 - 부산MBC, KNN 시범서비스 시스템 구축 및 지상파 UHD 입체미디어 시험 방송 송출 서비스 수행 - ETRI 기술 유망설명회 및 기술 전시를 통한 지역 내 영상/영화 콘텐츠 기업들과의 기술 교류체계 구축 및 기술 지원 지원 ◇ 사회적 • 세계적인 비대면 환경에서 공연/쇼핑/협업 서비스에서 광범위하게 사용되고 있는 그래픽 기반의 3D 모델을 초실감 공간영상으로 대체함으로써 가상공간이 현실의 대안 세계가 되는 초실감 세컨드 스페이스 서비스와 관련된 산업의 활성화를 기대 • 부산이 가진 영상산업 기반을 이용하여 고유의 영상산업을 창출함으로써 글로벌 영상산업 허브 도약, 새로운 한류의 메카로 자리 매김하는데 기여 - (세계최초) 사용자 선택형 지상파 UHD 입체미디어 시험 방송 송출 서비스 및 국제경쟁력 및 기술 홍보를 위한 NAB Show2023 전시회 진행 - 부산 XR기반 실감미디어 분야 발전을 위한 지역 산·학·연 유관기관/기업 R&D협력 및 2023 부산국제단편영화제 기술 지원
ㅇ 후속 과제에 도움을 줄 수 있는 연구 결과 - 메타버스 콘텐츠 기술, 저지연/고품질/고효율 음향 압축 및 공간음향 렌더링 기술, 실-가상 융합 인터랙션 기술, 가상 중재 콘텐츠 기술, 사용자 선택형 입체 미디어 서비스 기술 개발에 활용 가능
□ 성과관리 및 활용계획 ㅇ 성과활용 계획 - (기술적) 카메라 자세, 깊이정보 추정 등 딥러닝 기반 공간데이터 생성 기술은 기존 hand-craft 방식의 성능과 처리속도 제한 극복 - (기술적) 현재의 음성 및 오디오 압축 기술과 차별화된 새로운 패러다임의 저지연/고품질/고효율 음향 압축 기술 개발을 통해 음향 압축 기술 관련 글로벌 시장 선도 및 국제표준 확보 - (기술적) 신체·인지적 한계를 극복하여 가상증강 콘텐츠를 향유할 수 있는 AR/VR 접근성 핵심기술을 확보함으로써 산업 파급효과를 통한 글로벌 시장경쟁력 강화 - (기술적) 실감형 콘텐츠 연구성과를 이용한 지역 ICT 기술 전시회 및 시범서비스 제공을 통해 지역내 문화 콘텐츠 산업 및 서비스 대중화에 기여 - (사회문제해결) 발달장애인을 위한 가상 직업훈련 및 평가진단 기술 개발을 통해 직업훈련 환경을 개선하고 안정적인 고용으로 이어질 수 있도록 함으로써 경제적 자립과 삶의 만족도를 높임 - (확보된 기술의 사업화 전략) 기술이전을 통해 장애인 직업훈련 전문기관 및 특수교육 기관을 대상으로 요소기술을 적용한 VR/AR 융복합 콘텐츠의 사업화를 추진
□ 향후 과제 수행계획 ㅇ 다음 단계(2단계: ’23~’24년) 연구개발 계획 [초실감 세컨드 스페이스 실현을 위한 공간영상 생성 및 재현 원천기술 개발] 1) 연구개발 목표 및 내용 • 목표: 초실감 세컨드 스페이스 실현을 위한 다중센서/지능정보기반 공간영상 생성 및 재현 핵심기술 개발 • 내용: 고정밀 공간영상 생성 및 인터랙티브 재현 핵심기술 개발, 지능정보기반 공간데이터 생성 원천 기술 연구, 공간영상 비즈니스 모델 연구 2) 국내외 분야 환경변화 • 메타버스에 대한 관심이 성장가능성을 높이고 있으며, 게임 및 엔터테인먼트에서 다양한 분야로 확장 중 3) 연구개발 추진전략 • 메타버스 서비스에서 공간(건물)이나 객체(제품, 사람 등)를 3차원 실사모델로 표현하기 위한 공간영상 생성 핵심기술 개발 및 플랫폼 사업자와의 협력을 통한 상용화 추진 4) 연구개발 일정 및 기대 성과 • 연구개발 일정 - 2022년 난제 객체 공간영상 생성 및 재현 기반 기술 연구를 수행하고, 2023년 지능정보기반 고정밀 공간 영상 생성 및 인터랙티브 재현 기술 개발 수행 • 기대성과: 세계최고 수준의 공간영상 추출·생성·재현 성능 달성
[실시간 소통과 체험을 위한 저지연/고품질 동시지원 음향 압축 기술 개발 및 표준화] 1) 연구개발 목표 및 내용 • 목표: 저지연 기반 고품질/고효율 음향 압축 요소기술 통합 및 검증 • 내용: 음향 압축 핵심기술 개발 및 국제표준화 추진(음향 압축, 공간음향 기술) 2) 국내외 분야 환경변화: 메타버스 관련 이슈가 등장하면서 공간음향과 저지연-고품질 오디오 코덱에 대한 관심 증가 3) 연구개발 추진전략 • 음향 코덱 내 신호분석 단위를 최적화하고 요소기술별 지연을 초래하는 요인을 제한하여 저지연 목표 달성을 위한 코덱 구조 설계 • 저지연/고품질/고효율 음향 압축 기술 개발을 위해 영상 부호화 및 다양한 분야에서 연구되고 있는 최신 심층신경망 기술 등의 활용 가능성을 검증하여 이를 음향 압축을 위한 요소기술로 활용 • 확보된 요소기술과 IPR을 기반으로 저지연/고품질/고효율 음향 코덱에 대한 표준화 이슈 제기 및 전략 수립을 통한 국제표준화 추진 4) 연구개발 일정 및 기대 성과 • 2단계(‘22~’24): 저지연 기반 고품질/고효율 음향 압축 요소기술 연구를 통한 음향 압축 핵심 특허 30건 출원 및 SCI(E) 논문(투고) 3건, Top-tier 우수 국제학술대회(투고) 9건 • 3단계(‘25~‘29): 저지연/고품질/고효율 음향 압축 기술 성능 고도화 및 표준 기술 연구를 통한 국제표준 특허(총년도) 20건 확보 • 오디오 부호화 및 공간음향 기술 국제표준 반영 및 표준특허 확보를 통한 성과확산 추진
[사용자 선택형 UHD 입체 미디어 서비스 기술 개발] 1) 연구개발 목표 및 내용 • 목표: 사용자 선택형 입체미디어 부호화 핵심알고리즘 연구, UHD 입체미디어 스트리밍 서비스 검증을 위한 필드테스트, 사용자 인터랙션 인식 기반 입체 영상 재생 기술 연구 • 내용: 입체 애니메이션 콘텐츠 화질개선을 위한 조건부 대체 알고리즘 연구, Cross-view 기반 계층적 입체미디어 부호화 알고리즘 개발, 입체 영상 재생 기반 사용자 인터랙션 인식 알고리즘 연구 2) 국내외 분야 환경변화 • 디지털 사이니지 관련 기업들은 자사 제품을 위한 별도 플랫폼을 개발하여 공개하고 있으며, 사물인터넷 시대의 본격화에 따라 단순히 콘텐츠를 보여주는 디스플레이에서 사용자와 소통하고 데이터를 수집하는 도구로 진화 3) 연구개발 추진전략 • 사용자 선택형 UHD 입체 미디어 핵심 알고리즘개발 및 요소기술 개발, 성능평가용 테스트베드 구축을 바탕으로 참여기관의 미디어 콘텐츠 기술개발, H.266기반 서비스 표준화 아이템 발굴, H.265 확장형 입체미디어 인코더/디코더 핵심기술 개발, 방송장비 및 플랫폼 개발을 바탕으로 사업 추진 4) 연구개발 일정 및 기대 성과 • 스마트 미디어 산업 세계화를 위한 사용자 입체 미디어 서비스 플랫폼을 위한 초고화질 3D/2D 동시 서비스가 부가 조건 없이 사용 가능한 사용자 선택형 입체 미디어 서비스 핵심기술 개발 6) 사업화 추진 계획 • 사용자 선택형 입체미디어 스트리밍 시범서비스 - 지역내 방송 및 통신망을 활용한 2D/3D 호환형 OTT 서비스를 위한 시스템 성능평가 환경 구축 (부산MBC & KNN) - 관련 Head-End 장비 및 단말기 상용화 추진
(출처 : 요약문 3p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.