23ZH1300, Research on hyper-realistic interaction technology for five senses and emotional experience,
Il Kwon Jeong
Abstract
□ 과제수행 목표 및 내용 ◼ 최종 목표 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 개인형 풀컬러 홀로그래픽 디스플레이 및 비접촉 비착용형 촉각 모듈 기반 Holo-media 공간촉각 인터랙션 시스템 개발 • End Product - 다중 공감각(시각+촉각)을 제공하는 5인치 컬러 홀로그래픽 3D 디스플레이(SYS HW+SW) - 상용 SLM 기반 4인치 컬러 홀로그램 재현 3D 디스플레이 광학 시스템(HW모듈) - 프로젝션 광학계를 위한 고품질 6K급 홀로그램 생성 SW(서버탑재형SW) - 공간 홀로그램 재생을 위한 투과 모드 6K x 4K SLMoG 디스플레이 (HW모듈) - 6K x 4K 컬러 SLMoG 구동 시스템 (HW모듈) - 고해상도 공간 촉각 패턴 생성 디바이스(HW모듈) [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 1인칭 시점 가상융합 공간에서 현실과 동일한 수준의 상호작용 및 원격 사용자 간 감성적 교감을 나눌 수 있는 센스포테이션(Sensportation) 핵심원천기술을 개발하고, 상용화랩(Lab) 검증을 통한 기술사업화 추진 • End Product - 다중 User-like-캐릭터 인터랙션 시스템 (SYS) - 가상공간 사용자 감정인식⋅생성⋅교감 시스템 (SYS)
◼ 전체 내용 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 홀로그램과 상호 교감(UI/UX)이 가능한 비접촉의 인터랙션 기술, 홀로그램 영상의 획기적 시인성 개선을 위한 홀로그램 신호처리 및 공간촉각 연동 개인형 컬러 디스플레이 시스템 개발 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 1인칭 시점 가상 융합 공간에서 장소 제약 없이 현실과 같은 교감이 가능하도록 사용자의 모션 및 생체정보와 상황 정보를 융합하여 감성을 표현하고 전달하기 위한 마이크로 상호작용 및 원격교감 핵심원천기술 개발
◼ 2단계(2022-2024) ❏ 목표 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 홀로그램 공간촉각 인터랙션을 위한 핵심원천 요소 기술 개발 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 원격 교감을 위한 1인칭 센서 기반 사용자 자세 추적 및감정 상태 인식 핵심원천기술 개발 ❏ 내용 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 상용 SLM 기반 4인치 컬러 홀로그램 재현 3D 디스플레이 광학 시스템 • 4K급 고품질 홀로그램 생성 테스트베드 구축 • SLMoG 능동형 픽셀 어레이 TEG 제작 및 Driver IC 구동 • 공간 촉각 제어용 다채널 초음파 소자 어레이 구동 회로 개발 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 1인칭 시점 센서 구성 및 사용자 자세(몸, 손) 추적 기술 • 다중감각 및 생체정보 융합을 통한 감정 상태 측정 기술 • 비언어적/공감각적 표현 기반 감정적 교감 측정 기법 연구
◼ 3단계(2025-2027) ❏ 목표 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 홀로그램 공간촉각 인터랙션을 위한 PoC 개발 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 원격 감성 교감 인터랙션 핵심원천기술 고도화 및 사회적 상호작용 기술 개발 ❏ 내용 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 컬러 프로젝션형 홀로그래픽 3D 디스플레이 시스템 • 6K급 고품질 다중 깊이 홀로그램 생성 테스트베드 • 4um 픽셀피치의 6K x 4K 투과모드 SLMoG 패널 제작 • 초박형 입체 공간 인터랙티브 촉각 디바이스 프로토타입 제작 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • 사용자 간 감성교류 기술 고도화 및 센스포테이션 플랫폼을 개발 • In-Out 센서 기반 사용자 자세 추적 기술 고도화 및 경량화 • 실재감(Presence) 제공을 위한 1인칭 신체 표현 기술 • 가상공간에서 사회적 감정 공유, 적응적 감성 변환 기술 • 교감형 상호작용 증진을 위한 사회적/문화적 요소 적용 방안 연구
◼ 당해 연도 ❏ 목표 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • Holo-media 공간촉각 인터랙션 시스템 상세 설계 및 테스트베드 구축 - 부분 가간섭성 광원(sLED), 상용 SLM 기반 실험용 디스플레이 테스트베드 및 광학계 수차 포함 신경망 학습구조 설계 - 4um x 4um 픽셀로 구성된 투과 모드 초소형 픽셀 어레이 기술 개발 - 공간 인터랙티브 촉각패턴 생성을 위한 출력소자 어레이 및 알고리즘 기술 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • In-Out 센서 기반 3차원 Body 관절 추적 기술 개발 - 센서 범위 80도 이상, 최소 인식 범위 40cm 이내, 최대 2m 이상 - 전신 주요 15 관절 추적 및 평균 추적 에러 90mm 이내 • 가상환경에서의 감정 상태 측정 기술 개발 - 사용자 감정인식 정확도 60% 이상 ❏ 내용 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] • 풀컬러 투사형 폴딩광학계 설계 및 검증 기반 디스플레이 테스트베드 구축 및 광원별 재현특성 분석 • 이상적 프로젝션 광학계 전파 모델링 및 광학계 수차 포함 홀로그램 생성 신경망 구축 • 4um x 4um 픽셀 어레이 구현을 위한 요소 기술 개발 • 6Kx2K 급 해상도의 정지영상신호처리(단색)를 위한 FPGA timing controller 개발 • 고출력 초음파 소자 기반 촉감 출력소자 설계 및 어레이 제작기술 개발 • Dome-type 소자 어레이용 공간촉각 패턴 형성 및 Focal point 형성/제어 알고리즘 개발 [원격교감 메타버스 센스포테이션 핵심원천기술 개발] • In-Out 타입 센서 구축 - HMD 부착형 경량 센서 조사 및 프레임 설계 - Body 데이터 수집 및 인체 모형 학습 • 사용자 3차원 Body 추적 - 1인칭 시점(Self-View) 데이터 기반 Body 추적 기술 - Depth 기반 3차원 관절 위치 추정 • 생체신호 기반 감정 상태 측정 - 단일/다중모드 생체정보 기반 감정 상태 측정 기술 • 상황 정보 기반 감정 상태 측정 - 가상몰입환경에서의 공간과 사용자 간 상황 정보 기반 감정상태 측정 방법 연구 • 비언어적 감정 상태의 공감각적 표현 연구 • 콘텐츠·서비스 요구사항 도출 및 테스트베드 구축
□ 과제 수행결과 및 목표달성도 ㅇ 과제 수행결과 ※ 과제 수행결과: 과제 수행에 따라 발생한 정량적, 정성적 연구개발성과, 기타 계획하지 않은 성과 등 ㅇ 과제 수행 목표달성도 가. 과제 수행 목표달성도 (기술개발 성과지표) * 연구개발 달성실적 및 달성도 : 단계별 연구개발 달성목표의 달성실적과 달성도(%)를 기재 나. 공통지표
□ 관련 분야에 대한 기여 ㅇ 관련 분야 과학적·기술적·경제적·사회적 기여 ㅇ 후속 과제에 도움을 줄 수 있는 연구 결과 - 해당사항 없음
□ 성과관리 및 활용계획 ㅇ 성과관리 현황 ※ 연구데이터 관리계획(DMP : Data Management Plan) 참고 - (데이터 생산 및 관리) 연구계획서, 연구대상자 모집 공고문 및 설명문 작성, 실험윤리위원회 승인 이후, 연구대상자 모집 및 실험 수행. 사용자 피부영상 및 생체신호 측정 센서를 통한 데이터 획득 및 설문자료 수집 (UniSA Human Research Ethics Committee, 허가번호 205794) - (연구데이터 저장 및 보존) 연구대상자로부터 수집된 데이터 및 설문자료는 개인정보를 제외하고 기호로 구분하여 기록 및 저장함. 지정 데이터관리 시스템에 이원화 저장 및 관리함(서버1(rds.unisa), 서버2(mymailunisaedu.sha repoint), cvs format, 10G:서버1(7동655호), 서버2(7동661호), cvs/h264 format, 96G) - (데이터 공동활용) ➀ 사용자의 행동 및 생체신호를 기술하는 내용을 포함함에 따라 비공개 데이터로 관리함 ➁ 홀로그램 생성용 Deep Learning Network를 원내 github 에 등록하여 공유함 ㅇ 성과활용 계획 - (기술적) ➀입체공간 생성 및 재현 기술을 통해 공간상에 사실감이 극대화된 완전 입체영상을 제공함으로써, 초실감형 공간 미디어 산업 견인 ②1인칭 사용자 추적 및 감정 상태에 기반한 자연스러운 상호작용으로 시공간 제약으로부터 자유로운 초실감 원격협업 핵심 IP를 확보하고 글로벌 시장을 선도 - (사회문제해결) ➀초실감 리얼리티 기술로 콘텐츠·미디어 창작과 소비의 혁신을 촉진하고, 교육·회의·전시·공연·여행·의료 분야 적용을 통해 온 국민에게 물리적 한계를 넘어선 풍성한 소통과 체험의 기회 확대 ➁환자나 고령자의 무료함, 가족과 친구들에 대한 그리움, 회복에 대한 두려움 등을 극복하고 삶의 질을 향상시킬 수 있는 방안 제공 - (확보된 기술의 사업화 전략) ➀상호작용이 가능한 터치식 홀로그래픽 디스플레이 및 관련 장비의 조기 상용화를 위해 R&D 단계부터 민간 기업 및 최종 수요처(디스플레이 제조업체)와의 교류를 통해 제품 고도화 및 시장 진출 가능성 제고 ➁기술이전을 통해 디지털 케어(정서적 안정과 심리치료 등)를 제공하는VR/AR 융복합 콘텐츠 사업화 추진
□ 향후 과제 수행계획 ㅇ 다음 연도(2024) 연구개발계획 1) 연구개발 목표 및 내용 [입체공간 Holo-media 공간촉각 인터랙션 핵심원천기술 개발] [원격교감 메타버스 센스포테이션 핵심원천기술 개발] 2) 국내외 분야 환경변화 (해당시 작성) - 해당사항 없음 3) 연구개발 추진전략 • 비접촉 공간촉각 및 홀로그램 입체공간 생성-재현 핵심원천 기술개발을 위하여 요소 기술 도출 및 핵심 원천기술을 PoC 수준에서 검증 • 주관기관이 기보유하고 있는 다중감각 인지 기반 가상중재 기술을 가상공간 내 감성 교감 연구로 확장하고 해당 연구 분야의 우수 성과를 보유한 기관과 국제공동연구 추진 • 주관기관이 기보유하고 있는 기술을 기반으로 국내외 대학과의 연구협력을 통해 가상공간에서의감성교류와 사회적 공감유도에 대한 원천기술을 연구하고, 국내외 특허출원으로 조기 IPR 확보 추진, 사업화를 위한 요구사항 도출 • 기술 개발 결과물을 통합하고 참여기관들의 유기적 협력을 위해 매년 분기별 1회 이상의 주관기관 참여기관 간 연구 개발 결과를 상호 검증함. 또한 전체 목표 달성도 검증을 위해 연 2회 이상의 전체 기관 워크숍 개최를 통해 전체 개발 진행 상황을 점검함 4) 연구개발 일정 및 기대 성과 [연구개발 일정] • (2022-2024) 공간 촉각 인터랙션을 위한 기반요소기술 도출 및 핵심원천기술을 PoC 수준에서 검증 • (2023-2024) 1인칭 시점 기반 사용자 신체, 손 개별 추적 기술 및 가상공간 내 사용자 감정인식 및 교감 측정 기법을 측정하는 원천 요소기술 연구개발 추진 [기대성과] • 공간 인터랙션 기반의 입체공간 미디어 신산업 창출 • 사실감이 극대화된 공간 미디어 실현 • 비접촉 촉각 인터랙션 서비스 실현 • 1인칭 사용자 추적을 위한 센서 및 심리스 인터페이스 실현 • 시공간 제약으로부터 자유로운 초실감 원격협업 서비스 제공 • 실제감 있는 디지털 휴먼(가상 인간)을 재현 5) 다음 연차(2024) 연구개발비 사용계획 6) 사업화 추진 계획 (해당시 작성) • 상호작용이 가능한 터치식 홀로그래픽 디스플레이 및 관련 장비의 조기 상용화를 위해 R&D 단계부터 민간(참여-㈜메이) 기업 및 최종 수요처(디스플레이 제조업체)와의 교류를 통해 제품 고도화 및 시장 진출 가능성 제고 • 초박형 초음파 소자/어레이 모듈화 기술 및 제어 알고리즘 기술을 기반으로 비접촉 공간 인터랙션 촉각패턴 생성 기술을 확보한 후, 고속병렬 신호처리 기술 및 다채널 출력소자 어레이 구동회로 개발을 포함한 고성능 촉각생성 모듈 개발을 완료하고, 과제종료 후 수요기업 매칭을 통해 기술이전을 추진 • 몰입감 증대에 중요한 1인칭 실감 인터랙션과 원격 감성 공유 핵심기술을 조기에 선점하고, 수요자의 의견을 받아 고도화하여 기술이전을 달성하며, 수요기업이 차별화된 서비스를 제공할 수 있게하여 사업화의 가능성을 높임
(출처 : 요약문 2p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.