ETRI-Knowledge Sharing Plaform

KOREAN
기술이전 검색
Year ~ Transaction Count Keyword

Detail

Automatic co-speech gesture generation for Korean/Engligh speech

Manager
Yoon Youngwoo
Participants
Kim Do-Hyung, Kim Jae Hong, Yoon Youngwoo, Lee Jae Yeon, Minsu Jang
Transaction Count
1
Year
2022
Project Code
21HS1500, Development of Human-care Robot Technology for Aging Society, Lee Jae Yeon
20HS2500, Development of Human-care Robot Technology for Aging Society, Lee Jae Yeon
19HS6200, Development of Human-care Robot Technology for Aging Society, Lee Jae Yeon
18HS4800, Development of Human-care Robot Technology for Aging Society, Lee Jae Yeon
17HS6500, Development of Human-care Robot Technology for Aging Society, Lee Jae Yeon
22HS6100, Development of Robot Intelligence Continually Adapting to User Responses in Real Service Environments, Minsu Jang
본 기술은 한국어/영어 발화 오디오 및 문장에 적절한 상반신 발화 제스처 동작을 자동으로 생성하는 기술이다.
게임 캐릭터에서부터 디지털 휴먼, 휴머노이드 로봇 등 사람과 소통하는 Artificial 에이전트의 수가 지속적으로 증가하고 있다.
기존에는 모셥 캡쳐를 통해 가상 에이전트를 위한 발화 제스처 모션을 직접 녹화하였으나, 가상 에이전트가 활동하는 영역이 넓어지고 발화 양이 늘어남에 따라 자동 제스처 생성에 대한 요구가 커지고 있다.
본 기술은 적은 비용으로 고품질의 제스처 모션을 생성하는 기술로, 가상 에이전트를 기반으로 하는 디지털 휴먼, 게임, 소셜 로봇, 메타버스 등 다양한 서비스에 활용될 수 있는 핵심요소 기술이다.
- 발화 문장에 적절한 제스처 모션을 자동으로 생성
- 영어/한국어 지원
- 특정 구간에 특정 제스처가 발현되도록 컨트롤 가능
- 실시간 제스처 생성 가능
[기술이전의 내용]
- 한국어 발화에 적절한 상반신 제스처 동작 자동 생성 기술
-영어 발화에 적절한 상반신 제스처 동작 자동 생성 기술
- 사용자 정의 제스처 발현 및 블렌딩 기술

[기술이전의 범위]
- 기술문서(사용설명서, 시험절차 및 결과서) 및 프로그램
활용분야 / 활용(예) / 기대효과
- 디지털휴먼 / 디지털 안내 도우미, 가상유튜버 / 디지털 휴먼 생성 비용 절감
- 소셜로봇 / 가정용 반려서비스 로봇, 공공장소 안내 로봇 / 사용자 만족도 증대로 소셜 로봇 활성화에 기여
- 교육 / 디지털 휴먼을 이용한 교육 컨텐츠 / 교육 컨텐츠 제작 시간 절감