- 본 기술은 한국수어를 제1언어로 사용하는 청각장애인이 수어통역사의 도움 없이 정확한 의사소통을 제공하는 양방향 수어 통역 기술 중에서 수어영상을 한국어로 변환하는 수어인식 기술에 해당함
- 적용된 수어 인식 기술은 국립국어원에서 출간한 한국수어문법의 음운론에 기초한 수어소를 기반으로 하고 있으며, 수어소의 구성요소 중에서 수형소, 수향소, 수위소에 대한 3가지 수어소 정보 추출 및 인식 기능을 포함하고 있음
- 수어도 한국어처럼 국가에서 인정한 대한민국 공용어이며(한국수화언어법, 2016), 청각장애인의 주요 의사소통 수단 인만큼 자유로운 수어를 통한 의사소통의 요구가 증대되고 있음
- 청각장애인들과 비장애인이 함께 일상을 공유하고 더불어 살아나갈 수 있도록 돕는 양방향 수어통역 기술 개발의 필요성이 증대함
- 양방향 수어통역 서비스의 수어 표제어 인식 기술 분야에서는 AI 기술을 적용하기 위해서는 표제어 단위의 수어 빅데이터 영상이 필요함
- AI-Hub https://www.aihub.or.kr/
에서 공공 수어 AI 학습용 데이터를 제공하기는 하나, 국립국어원에서 제공하는 약 3,800개의 일상생활 수어 표제어를 학습하기에는 데이터가 부족한 실정임
- 본 기술의 핵심은 기존의 수어 표제어 단위 인식 방식을 넘어, 표제어를 구성하는 수어소(수어의 최소 단위)를 인식하는 방식으로 전환한 점임. 이를 통해, 표제어 단위의 영상 빅데이터가 부족한 경우에도 수어를 효과적으로 인식할 수 있는 방법을 제공함
- 본 기술에 적용한 방식은 한국수어문법의 음운론에 정의한 수어소(수형소 40종, 수위소 21종, 수동소 20종, 수향소 6종, 비수지요소 49종)를 적용 하였고, vector 값으로 정의하여 클래스 분류의 정확도 정보를 수치화하여 표현할 수 있게 하여 인식 정확도를 높힘
- 또한 본 기술은 GitHub 의 SOTA(State-Of-The-Art) 수어소 인식 기술을 적용할 수 있는 Open Source API를 제공하여, 수어소 인식 기술에서 최신 기술의 활용과 확장을 쉽게 할 수 있도록 지원함
- 세부기술1: 수어소기반 표제어 인식 기술
. Open source 연동하여 수어소 특징점 추출 기능
. 수어소 특징점 정보기반 표제어 인식 기술
. 수어소 DB 생성, 편집, 삭제를 위한 표제어 수어소 관리 기술
- 수어표제어 인식 모듈 요구사항정의서 1종
- 수어표제어 인식 모듈 시험절차 및 결과서 1종
- 수어소기반 표제어 인식 프로그램 1종
- 청각 장애인을 위한 서비스 제공이 법적으로 요구되는 정부 및 공공기관이나 의료 및 교육기관에 수어 통역 서비스 제공
- 기술 및 소프트웨어 개발자에 청각 장애인을 위한 접근성 기능을 포함하는 앱이나 관련 소프트웨어 개발의 요소 기술 제공