22ZH1300, Research on hyper-realistic interaction technology for five senses and emotional experience,
Joong-Ki Park
Abstract
과제수행 목표 및 내용 최종 목표 o 개인형 풀컬러 홀로그래픽 디스플레이 및 비접촉 비착용형 촉각 모듈 기반 Holo-media 공간촉각 인터랙션 시스템 개발 o End Product - 다중 공감각(시각+촉각)을 제공하는 5인치 컬러 홀로그래픽 3D 디스플레이(SYS HW+SW) - 상용 SLM 기반 4인치 컬러 홀로그램 재현 3D 디스플레이 광학 시스템(HW모듈) - 프로젝션 광학계를 위한 고품질 6K급 홀로그램 생성 SW(서버탑재형SW) - 공간 홀로그램 재생을 위한 투과 모드 6K x 4K SLMoG 디스플레이 (HW모듈) - 6K x 4K 컬러 SLMoG 구동 시스템 (HW모듈) - 고해상도 공간 촉각 패턴 생성 디바이스(HW모듈)
당해연도 목표 (2022) o Holo-media 공간촉각 인터랙션 시스템 상세 설계 및 테스트베드 구축 - 부분 가간섭성 광원(sLED), 상용 SLM 기반 실험용 디스플레이 테스트베드 및 광학계 수차 포함 신경망 학습구조 설계 - 투과모드 4um x 4um 초소형 픽셀 설계 및 시뮬레이션 - 초음파 기반 비접촉 공간촉각 패턴생성 단위소자 모듈 설계 및 시뮬레이션 내용 (2022) o 풀컬러 투사형 폴딩광학계 설계 및 검증 기반 디스플레이 테스트베드 구축 및 광원별 재현특성 분석 - 이상적 프로젝션 광학계 전파 모델링 및 광학계 수차 포함 홀로그램 생성 신경망 구축 - 투과형 초소형 픽셀(4um x 4um) 설계 및 Spice 시뮬레이션 - 4K 영상처리용 FPGA 컨트롤 보드 설계 및 구현 - 초음파 소자 구조 설계 및 단위모듈 구현 - 공간촉각 파장/위상 제어 알고리즘 설계 및 검증
과제 수행과정 및 내용 ㅇ 과제 수행과정 - 초박형 초음파 소자 및 제어 알고리즘을 기반으로 비접촉 공간 인터랙션 촉각패턴을 생성하고 이를 고감도 인터랙티브 공간 위치감지 기술과 연동한 정밀 촉각출력 연동 기술의 개발을 위해, 현재 세계최고 수준의 출력음압(120dB)을 제공하는 초음파 소자를 보유한 Ultraleap(미국)社의 성능 이상의 초음파 소자 출력 음압을 달성하는 독자적 구조의 초음파 소자 및 모듈을 개발하고자 하며, Ultraleap社 에서 제공하는 세계 최고수준인 3종의 공간촉각 패턴 종류 이상의 공간촉각 복합패턴을 생성하고자 함 - 홀로그램 영상에서 시야각을 확보하기 위해서는 픽셀 피치가 작을수록 유리하고, 사용자와 홀로그램 영상 간의 원활한 상호 교감(UI/UX)을 위해서 광원이 SLM 의 뒷면에서 조사되는 투과모드 SLMoG (SLM on Glass) 시스템 개발이 필요함. 투과모드 SLM 의 세계최고 기술은 3.76um x 11um, 42.41μm2 의 픽셀로 구현한 삼성디스플레이의 연구 결과물이 있으며, 본 과제에서는 이를 뛰어넘는 4μm x 4μm, 16μm2 의 초소형 광시야각 투과모드 픽셀을 구현하고자 함. 또한 세계 최대 해상도의 상용 SLM 은 HOLOEYE社의 GAEA-2 이며 4160 x 2464 해상도이며 본 과제에서는 6K x 4K 해상도의 SLM을 구현하고자 함 - 신경망 학습 기반 고화질 홀로그램 생성 및 프로젝션 기반 홀로그램 재현 광학 기술을 기반으로 6K급 컬러 홀로그램 동영상 재현 기술을 개발하고자 함 - 신경망 학습 기반 고화질 홀로그램 생성 기술의 경우 미국 스탠포드대학교(단일깊이 2K 영상에 대해 15dB)와 서울대학교(다중깊이 2K 영상에 대해 11.5dB)가 세계 최고 수준의 홀로그램 화질 최적화 기술을 보유하고 있으며, 본 과제에서는 이를 넘어 6K급 해상도에서 20dB 이상의 광학 복원이 가능한 홀로그램 생성 기법을 개발하고자 함 - 프로젝션 기반 홀로그램 재현 광학 시스템은 SLM의 표시 면적 제약에서 벗어나 홀로그램을 확대 재현하며, 세부 광학 시스템 구성에 있어 굴절 광학 소자로 달성이 어려운 광학소자 크기와 높은 렌즈파워, 비색수차의 멀티스펙트럼(450nm~660nm) 회절광학소자 렌즈를 구현하여 광학 시스템에 적용함으로써 재현된 3차원 컬러 홀로그램을 가시적으로 관찰하는 것을 목적으로 함 - 기존의 재현 가능한 최대 홀로그램 영상 크기는 2014년 ETRI에서 발표한 300mmX300mm 크기이나, 한정된 SLM의 SBP(spatial bandwidth products) 대비 비대한 크기의 영상을 재현함에 따라 낮은 공간해상도의 영상이 출력되어 관찰자가 인지하는 화질 및 3D 입체 특성이 매우 저하됨. 따라서 본 과제에서는 SLM의 성능을 고려하여 90mmx90mm 크기의 최대 영상 크기를 목표로 설정하여 화질 및 3D 입체 특성 향상을 하고자 함 ㅇ 과제 수행내용
과제 수행결과 및 목표달성도 ㅇ 과제 수행결과 ㅇ 과제 수행 목표달성도 가. 과제 수행 목표달성도 (기술개발 성과지표) 나. 공통지표
관련 분야에 대한 기여 ㅇ 관련 분야 과학적·기술적·경제적·사회적 기여 과학적 •기존의 2D 방식에서 탈피하여 비접촉 방식의 3D 인터랙션 기술에 기반한 공간촉각 연계 컬러홀로그래픽 디스플레이 기술 개발 선도 – SCIE 논문 1편 심사중(기여율 0.33), 국제학술대회 1편 발표 기술적 •키보드/마우스(1세대), 터치스크린(2세대)에서 입체영상 기반 3차원 촉각 기술의 실감형 인터랙션(UI/UX) 기술 제시 •2차원의 터치스크린 인터랙션(UI/UX)을 뛰어넘어 3차원 공간상에서 직접 만지고 느낄 수 있는 촉각 인터랙션 기술을 통해 미래 디바이스 및 인터랙션 혁신 •몰입감이 평면에서 공간으로 변화된 미래정보 디바이스로 미디어 패러다임 변화를 견인 - 국제/국내 특허출원: 10건(기여율 기준 1건 출원완료/6.5건 출원신청) 경제적 • 초실감 고부가가치 미디어 산업과 디스플레이/스마트폰 등 세계 일등 디바이스 산업을 연계한 미래 新산업 생태계 초석 마련 •개발 기술이 적용되는 다중 공감각(촉각+시각) 지원 홀로그래픽 디스플레이 국내시장 성장에 따른 경제적 파급효과는 ’26~’30년(5개년)간 누적 기준 생산유발효과 5,628억원, 부가가치 유발효과 1,581억원 및 1,273여명의 고용 유발효과를 가져올 것으로 기대 사회적 • 시청각 이상의 촉각 제공으로 시각장애인 등 정보약자에 대한 정보 불균형 개선 및 따뜻한 ICT 토대 마련 ㅇ 후속 과제에 도움을 줄 수 있는 연구 결과 - 해당사항 없음
성과관리 및 활용계획 ㅇ 성과관리 현황 ㅇ 성과활용 계획 - (기술적) 접촉 촉각 인터랙션 디바이스 개발로 기존의 시·청각 중심의 인터랙션(UI/UX)에 촉각을 추가한 초실감 몰입형 경험으로 확장 및 2차원의 터치스크린 인터랙션(UI/UX)을 뛰어넘어 3차원 공간상에서 직접 만지고 느낄 수 있는 촉각 인터랙션 기술을 통해 혁신적인 미래 디바이스 및 인터랙션 실현 - (사회문제해결) 초고해상도 마이크로 디스플레이 개발로 가상과 현실과 구분하기 어려울 만큼의 사용환경을 제공하여 메타버스 구현에 필수적인 확장현실(XR) 기기의 대중화를 실현 - (확보된 기술의 사업화 전략) 초고화질 입체공간 생성-재현 기술과 비접촉 공간 촉각 인터랙션 기술의 결합을 통해 새로운 몰입형 경험 및 입체영상 미디어 신산업 창출
향후 과제 수행계획 ㅇ 다음 연도 연구개발계획 1) 연구개발 목표 및 내용 2) 국내외 분야 환경변화 - 해당사항 없음 3) 연구개발 추진전략 - 본 과제는 6년 계속과제로 효과적인 과제 추진을 위해 내부적으로 3년단위씩 1단계(2022.01. ~ 2024.12)와 2단계(2025.01. ~ 2027.12.)로 나누어 수행함 - 1단계 마치는 ‘24년에 본 과제(이하 Holo-Haptics과제로 칭함)와 “홀로그램 영상 서비스를 위한 Holo-TV 핵심 기술 개발”(이하 Holo-TV 과제로 칭함)에서 각각 개발 중인 기술을 연계하여 (3D sensing 분야) 등을 연계해서, 1:1 “홀로그램 영상 통화 PoC”를 하고자 함 4) 연구개발 일정 및 기대 성과 o 연구 개발 일정 o 주요 예상 성과물 - 카메라 피드백 기반 프로젝션 광학계 홀로그램 생성 신경망 구축 - 편광 기반 광학적 폴딩 기술 - 공간촉각 Focal point 모듈레이션 기술 - 초소형 픽셀(4um x 4um) 어레이 상세 설계 및 6Kx2K 정지영상신호처리 FPGA 컨트롤 보드 5) 다음 연차 연구개발비 사용계획 6) 사업화 추진 계획 o 주관연구개발기관 : 한국전자통신연구원 o 공동연구개발기관 : ㈜메이 - 시장 환경 분석 & SWOT 기술경쟁력 분석 - 투자 계획 (㈜메이) - 생산 계획 (㈜메이) * 장비 및 시설투자 계획과 인력충원 계획에 따라 생산능력을 향상시켜 LCOS Panel 기준으로 월생산량 9,00EA(2021년도 기준)에서 2028년도까지 월 생산량 40,000EA를 목표로 하고 있음 - 해외시장 진출계획 (㈜메이) * 해외기업과의 구매계약 체결 및 해외 전시회 참가를 통한 신시장 개척 * 홀로키트 및 LCOS 공간광변조기는 중국 기업 및 연구기관에 판매를 시작하였으며, 중국 뿐만 아니라 미국, 유럽 등의 신시장 진출을 위해 적극적으로 해외 전시회 참여를 추진 중에 있음
(출처 : 요약문 2p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.