ETRI-Knowledge Sharing Plaform

ENGLISH
기술이전 검색
연도 ~ 이전수 키워드

상세정보

플렌옵틱 현미경 영상획득 및 피부진단 기술

전수책임자
이문섭
참여자
기술이전수
0
이전연도
2021
협약과제
ㅇ (플렌옵틱 영상기술) 플렌옵틱 이미징 기술 또는 라이트필드(Light field) 이미징 기술은 어떤 물체나 장면에서 방사되는 빛의 라이트필드의 4D 영상정보를 획득하는 기술을 의미함, 이중 카메라 배열을 통한 4D 영상정보를 획득하는 카메라 어레이 기반 플렌옵틱 영상기술과 다수의 마이크로렌즈어레이를 이용하여 물체의 시차나 깊이정보등을 획득하는 마이크로렌즈어레이 기반 플렌옵틱 영상기술로 구분할 수 있는데, 본 대상기술은 마이크로렌즈어레이 기반 플렌옵틱 영상 기술임
ㅇ (플렌옵틱 현미경 영상기술) 마이크로렌즈어레이(MLA) 기반으로 머신비전, 현미경에 적용할 수 있도록 고해상도 이미지센서와 구성된 플렌옵틱 카메라임.
- 본 기술을 사용하는 경우 기존 현미경 시스템과 달리 4DoF 영상정보를 한번에 측정이 가능하고, 시차에 따른 원근시점 이동, 재초점, 깊이 추출(Depth map)등을 통해 3D 영상분석과 정량적 측정이 가능
- 본 기술은 90fps의 스냅샷 영상 측정, 실시간 동영상 확보가 가능함
- 특히, 플렌옵틱 현미경 영상을 이용하여 미세공정(반도체, 디스플레이, SMT) 결함진단기술 및 의료 응용을 위한 피부질환 진단 기술로 활용가능
ㅇ 본 기술이전은 플렌옵틱 1.0 방식에 대한 마이크로렌즈어레이 설계 및 제작기술과, 카메라 정합기술, 평가기술 및 멀티포커스에 대한 특허와 이의 제조기술, 플렌옵틱 복원기술과 이에 대한 딥러닝 기반 피부질환 진단 기술로 구성됨.
ㅇ 플렌옵틱 현미경 기술은 기존 3차원 현미경에 비해 스캐닝 없이 한 번의 측정으로 대상의 볼륨 입체영상을 취득할 수 있어 다양한 분야에 활용이 가능함
- 플렌옵틱 기술은 스탠포드대학에서 Ng이 마이크로렌즈어레이를 기반한 플렌옵틱 현미경을 시연한 이래로, 많은 연구와 상용화가 진행중에 있음
- 기존 3D 영상획득기술과 달리 광원이나 진동, 간섭등에 자유롭기 때문에 천체망원경부터 반도체 머신비전까지 활용이 가능함
- 특히, 본 대상기술인 플렌옵틱 현미경은 응용영역으로 반도체나 패키지, 후공정검사장비에 적용할 수 있으며, 피부질환검사나 치과, 안면검사 등에 활용이 가능함
- 본 기술을 확장하는 경우 (즉, 메인렌즈의 교체나 MLA의 재설계 등) 로봇비전이나 일반 카메라등으로 적용영역을 확대할 수 있음
ㅇ 플렌옵틱 현미경의 대표적 상용화한 기업으로는 Lytro사와 Raytrix사가 있으며, Lytro사는 2018년도에 구글에 합병되었으나, Raytrix사는 자체의 특허(multi-focus)와 자체의기술력을 이용하여 다양한 분야에 활동하고 있음.
- Lytro사는 Ng가 설립한 회사로서, 플렌옵틱 1.0 방식 (메인렌즈의 상이 마이크로렌즈어레이에 맺는 방식)을 사용하여 일반인을 대상으로 한 저가의 Lytro 1.0, Lytro illum등을 판매
- Raytrix사는 멀티포커스 플렌옵틱 기술을 바탕으로 머신비전, 헬스케어, 공정검사장비등 다양한 분야에 활용할 수 있는 제품을 생산하고 있음
- 국내에서는 일부 대학과 연구소에서 연구를 진행하고 있으며 아직 체계적이거나 상용화까지는 한계가 있음.
ㅇ 플렌옵틱 기술은 현재 JPEG에서 이미지처리에 대한 인터페이스, Coding규격등이 표준화되었으며, 동영상에 대한 표준이 MPEG에서 진행중이고 국내에서는 당연구팀이 TTA를 통해 표준화를 진행중에 있음
ㅇ 본 기술이전은 최근 표준화, 상용화등으로 새롭게 조명받고 있는 마이크로렌즈어레이 기반 플렌옵틱 기술을 국내 기업에서 이전받아 상용화하고 다양한 분야의 응용에 적용사례를 만듬으로서 기술 실증 사례를 제시하기 위함
- 본 기술은기존 현미경이 많이 사용되는 머신비전과 의료분야에서 적용이 가능하도록 기술이 구성됨, 특히 서브마이크로급 해상도가 요구되는 공정검사 분야와 in-vivo 피부질환 진단등의 의료분야의 적용을 목적으로 함.
- 또한, 3차원 안면피부진단, 로봇비전, 3차원 영상감시, 3차원 영상획득 등이 다양한 분야에 적용이 가능
ㅇ 본 기술이전은 플렌옵틱 1.0 방식과 멀티포커스에 대한 특허와 이의 제조기술, 마이크로렌즈어레이를 비롯한 고속카메라 설계 및 제작기술, 플렌옵틱 카메라 생산을 위한 테스트 및 평가기술, 플렌옵틱 복원기술과 이에 대한 피부진단 기술까지를 본 기술이전에 포함함
(1) 기술의 정의
ㅇ 마이크로렌즈어레이를 기반으로 고속, 고해상도 플렌옵틱(3D) 영상을 획득할 수 있는 플렌옵틱 현미경으로서, 마이크로렌즈어레이 설계 및 제작기술, 상용 영상센서(25Mpixels)을 적용한 고해상도/고속 카메라 제작기술, 플렌옵틱 카메라 생산 및 평가를 위한 평가기술, 플렌옵틱 영상복원기술, 플렌옵틱 영상을 통한 피부진단기술로 구성됨
- 특히, 플렌옵틱 1.0과 2.0 및 멀티포커스 플렌옵틱 기술을 적용할 수 있도록 마이크로렌즈어레이에 대한 설계 및 광학기술과, x10, x20배율 현미경에 적용한 바 있으며, 오픈소스를 기반으로 영상복원과 Depthmap 추출기술을 포함함
(2) 기술의 특징
ㅇ 국내 공정을 활용한 마이크로렌즈어레이 설계 및 제작기술
- 다양한 소재(PDMS, Polymer)적용을 위한 마이크로렌즈어레이 몰드, x10배율 및 x20배율 현미경 적용을 위한 낮은 NA(Numerical Aperture)를 갖는 마이크로렌즈어레이 설계 기술
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술
- 25Mpixel/90fps 영상획득을 위한 FPGA 설계기술, 카메라 영상획득 기술 등
ㅇ 포커스 조정이 가능한 마이크로렌즈어레이 기반 플렌옵틱 카메라 제작기술
- 단렌즈 마이크로렌즈어레이 정합기술, Plenoptic 1.0/2.0이 적용가능한 조절형
ㅇ 오픈소스기반 Plenoptic 1.0 및 Plenoptic 2.0 영상복원 기술
ㅇ 플렌옵틱 카메라의 평가 및 딥러닝 기반 플렌옵틱 복원을 위한 오픈소스기반 플렌옵틱 Database
(3) 기술의 구성
ㅇ 마이크로렌즈어레이 설계 및 제작기술
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술
ㅇ 포커스 조정이 가능한 마이크로렌즈어레기 기반 플렌옵틱 카메라 제작기술
ㅇ 플렌옵틱 카메라의 평가를 위한 Test셋 등
ㅇ 오픈소스 기반 플렌옵틱 영상처리 기술
ㅇ 플렌옵틱 영상기반 피부진단보조 알고리즘

(4) 기존(선행)기술 대비 장점
ㅇ 본 기술은 선행기술 대비 10배율, x20배율 현미경 적용이 가능한 플렌옵틱 기술로서, 마이크로렌즈어레이 설계/제작 기술부터 카메라설계, 영상복원기술, 피부진단응용기술까지 구성되어 있음.
ㅇ 기존 멀티포커스에 대한 새로운 개념의 특허를 구성하고 있음으로써 기존 플렌옵틱 관련 경쟁기업의 지재권을 극복할 수 있음
ㅇ 마이크로렌즈어레이 설계 및 제작기술 (설계파라미터, 설계도면, 마이크로렌즈어레이 샘플)
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술 (설계도면, 거버데이터)
ㅇ 포커스 조정이 가능한 마이크로렌즈어레기 기반 플렌옵틱 카메라 제작기술 (설계도면)
ㅇ 플렌옵틱 카메라의 평가를 위한 오픈데이터 셋 (데이터베이스)
ㅇ 오픈소스 기반 플렌옵틱 영상처리 기술 (알고리즘, 소스코드)
ㅇ 플렌옵틱 영상기반 피부진단보조 알고리즘 (알고리즘, 소프트웨어)
- ETRI 요구사항정의서 1건
- ETRI 시험절차 및 결과서 1건
- 알고리즘 관련 기술문서 총 15건
- 플렌옵틱 현미경 등 특허 3건
- 이종영상센서 동시측정 및 인공지능진단기능 내장 백엔드 프로그램 등 SW 3종
ㅇ 고해상도의 3D 영상을 통해 진단 대상을 다시점에서 관찰하고 분석함으로써 반도체 및 디스플레이 산업과 같은 정밀 산업에서의 결함검출/진단 정확도 향상이 기대됨
ㅇ 서브 마이크로 미터급 해상도의 3D 영상획득을 및 비파괴용 3D 영상획득은 표면 형상분석 및 정밀도 검사, 미세공정 결함진단의 정확도를 향상시켜 반도체 및 디스플레이 산업과 정밀가공 산업 등 다양한 산업 분야의 고도화가 기대됨
ㅇ 3D 표면 형상 및 공정 결함 분석/진단을 통해 공정 정밀도가 향상되므로 각 산업에서의 불량률 감소 및 양산 수율 확보로 경제적 손실 감소 및 각 산업의 경쟁력 향상이 기대됨
ㅇ 해외 의존도가 높은 플렌옵틱 현미경 및 3D AOI 장비 등을 국산화하여 의료 및 제조 산업의 글로벌 기술 경쟁력 확보 및 수입 대체 효과 극대화
ㅇ 3D AOI 세계 시장 규모는 2019년 6억8천만 달러에서 2024년 11억2천만 달러로 연평균 13.0%의 성장이 예상되어 플렌옵틱 현미경 및 분석 기술이 글로벌 3D 결함 분석 시장 진출이 가능할 것으로 기대 (※ 시장규모 출처: Reports Intellect 社)