ㅇ (플렌옵틱 영상기술) 플렌옵틱 이미징 기술 또는 라이트필드(Light field) 이미징 기술은 어떤 물체나 장면에서 방사되는 빛의 라이트필드의 4D 영상정보를 획득하는 기술을 의미함. 플렌옵틱 기술은 카메라 배열을 통한 4D 영상정보를 획득하는 카메라 어레이 기반 플렌옵틱 영상기술과 다수의 마이크로렌즈어레이를 이용하여 물체의 시차나 깊이정보등을 획득하는 마이크로렌즈어레이 기반 플렌옵틱 영상기술로 구분할 수 있는데, 본 대상기술은 마이크로렌즈어레이 기반 플렌옵틱 영상 기술임
ㅇ (플렌옵틱 현미경 영상기술) 마이크로렌즈어레이(MLA) 기반으로 머신비전, 현미경에 적용할 수 있도록 고해상도 이미지센서와 구성된 플렌옵틱 카메라임.
- 본 기술을 사용하는 경우 기존 현미경 시스템과 달리 4DoF 영상정보를 한번에 측정이 가능하고, 시차에 따른 원근시점 이동, 재초점, 깊이 추출(Depth map)등을 통해 3D 영상분석과 정량적 측정이 가능
- 본 기술은 90fps의 플렌옵틱 영상 확보, 실시간 동영상 확보가 가능함
- 특히, 플렌옵틱 현미경 영상을 이용하여 미세공정(반도체, 디스플레이, SMT) 결함진단기술 및 의료 응용을 위한 피부질환 진단 기술로 활용가능
ㅇ 본 기술이전은 플렌옵틱 1.0/2.0/multi-focus 방식에 대한 마이크로렌즈어레이 설계 및 제작기술과, 카메라 정합기술, 평가기술 및 멀티포커스에 대한 특허와 이의 제조기술, 플렌옵틱 복원기술로 구성됨.
ㅇ 플렌옵틱 현미경 기술은 기존 3차원 현미경에 비해 스캐닝 없이 한 번의 측정으로 대상의 볼륨 입체영상을 취득할 수 있어 다양한 분야에 활용이 가능함
- 플렌옵틱 기술은 스탠포드대학에서 Ng이 마이크로렌즈어레이를 기반한 플렌옵틱 현미경을 시연한 이래로, 많은 연구와 상용화가 진행중에 있음
- 기존 3D 영상획득기술과 달리 광원이나 진동, 간섭등에 자유롭기 때문에 천체망원경부터 반도체 머신비전까지 활용이 가능함
- 특히, 본 대상기술인 플렌옵틱 현미경은 응용영역으로 반도체나 패키지, 후공정검사장비에 적용할 수 있으며, 피부질환검사나 치과, 안면검사 등에 활용이 가능함
- 본 기술을 확장하는 경우 (즉, 메인렌즈의 교체나 MLA의 재설계 등) 로봇비전이나 일반 카메라등으로 적용영역을 확대할 수 있음
ㅇ 플렌옵틱 현미경의 대표적 상용화한 기업으로는 Lytro사와 Raytrix사가 있으며, Lytro사는 2018년도에 구글에 합병되었으나, Raytrix사는 자체의 특허(multi-focus)와 자체의기술력을 이용하여 다양한 분야에 활동하고 있음.
- Lytro사는 Ng가 설립한 회사로서, 플렌옵틱 1.0 방식 (메인렌즈의 상이 마이크로렌즈어레이에 맺는 방식)을 사용하여 일반인을 대상으로 한 저가의 Lytro 1.0, Lytro illum등을 판매
- Raytrix사는 멀티포커스 플렌옵틱 기술을 바탕으로 머신비전, 헬스케어, 공정검사장비등 다양한 분야에 활용할 수 있는 제품을 생산하고 있음
- 국내에서는 일부 대학과 연구소에서 연구를 진행하고 있으며 아직 체계적이거나 상용화까지는 한계가 있음.
ㅇ 플렌옵틱 기술은 현재 JPEG에서 이미지처리에 대한 인터페이스, Coding규격등이 표준화되었으며, 동영상에 대한 표준이 MPEG에서 진행중이고 국내에서는 당연구팀이 TTA를 통해 표준화를 진행중에 있음
ㅇ 본 기술이전은 최근 표준화, 상용화등으로 새롭게 조명받고 있는 마이크로렌즈어레이 기반 플렌옵틱 기술을 국내 기업에서 이전받아 상용화하고 다양한 분야의 응용에 적용사례를 만듬으로서 기술 실증 사례를 제시하기 위함
- 본 기술은기존 현미경이 많이 사용되는 머신비전과 의료분야에서 적용이 가능하도록 기술이 구성됨, 특히 서브마이크로급 해상도가 요구되는 공정검사 분야와 in-vivo 피부질환 진단등의 의료분야의 적용을 목적으로 함.
- 또한, 3차원 안면피부진단, 로봇비전, 3차원 영상감시, 3차원 영상획득 등이 다양한 분야에 적용이 가능
ㅇ 본 기술이전은 플렌옵틱 1.0 방식과 멀티포커스에 대한 특허와 이의 제조기술, 마이크로렌즈어레이를 비롯한 고속카메라 설계 및 제작기술, 플렌옵틱 카메라 생산을 위한 테스트 및 평가기술, 플렌옵틱 복원기술에 대해 본 기술이전에 포함함
(1) 기술의 정의
ㅇ 마이크로렌즈어레이를 기반으로 고속, 고해상도 플렌옵틱(3D) 영상을 획득할 수 있는 플렌옵틱 현미경으로서, 마이크로렌즈어레이 설계 및 제작기술, 상용 영상센서(25Mpixels)을 적용한 고해상도/고속 카메라 제작기술, 플렌옵틱 카메라 생산 및 평가를 위한 평가기술, 플렌옵틱 영상복원기술로 구성됨
- 특히, 플렌옵틱 1.0과 2.0 및 멀티포커스 플렌옵틱 기술을 적용할 수 있도록 마이크로렌즈어레이에 대한 설계 및 광학기술과, x10, x20배율 현미경에 적용한 바 있으며, 오픈소스를 기반으로 영상복원과 Depthmap 추출기술을 포함함
(2) 기술의 특징
ㅇ 국내 공정을 활용한 마이크로렌즈어레이 설계 및 제작기술
- 다양한 소재(PDMS, Polymer)적용을 위한 마이크로렌즈어레이 몰드, x10배율 및 x20배율 현미경 적용을 위한 낮은 NA(Numerical Aperture)를 갖는 마이크로렌즈어레이 설계 기술
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술
- 25Mpixel/90fps 영상획득을 위한 FPGA 설계기술, 카메라 영상획득 기술 등
ㅇ 포커스 조정이 가능한 마이크로렌즈어레이 기반 플렌옵틱 카메라 제작기술
- 단렌즈 마이크로렌즈어레이 정합기술, Plenoptic 1.0/2.0이 적용가능한 조절형
ㅇ 오픈소스기반 Plenoptic 1.0 및 Plenoptic 2.0 영상복원 기술
ㅇ 플렌옵틱 카메라의 평가 및 딥러닝 기반 플렌옵틱 복원을 위한 오픈소스기반 플렌옵틱 Database
(3) 기술의 구성
ㅇ 마이크로렌즈어레이 설계 및 제작기술
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술
ㅇ 포커스 조정이 가능한 마이크로렌즈어레기 기반 플렌옵틱 카메라 제작기술
ㅇ 플렌옵틱 카메라의 평가를 위한 Test셋 등
ㅇ 오픈소스 기반 플렌옵틱 영상처리 기술
(4) 기존(선행)기술 대비 장점
ㅇ 본 기술은 선행기술 대비 10배율, x20배율 현미경 적용이 가능한 플렌옵틱 기술로서, 마이크로렌즈어레이 설계/제작 기술부터 카메라설계, 영상복원기술로 구성되어 있음.
ㅇ 기존 멀티포커스에 대한 새로운 개념의 특허를 구성하고 있음으로써 기존 플렌옵틱 관련 경쟁기업의 지재권을 극복할 수 있음
(5) 기존(선행)기술 대비 단점
ㅇ 상용영상센서를 사용하기 때문에 다양한 해상도, 영상센서의 크기 등 영상센서 적용에는 한계가 있음
ㅇ 본 기술은 서브마이크로급 해상도를 목표로 하기 때문에, 나노급 해상도가 필요한 분야의 적용에 한계를 가짐
ㅇ 마이크로렌즈어레이 설계 및 제작기술 (설계파라미터, 설계도면, 마이크로렌즈어레이 샘플)
ㅇ 고속 상용센서(25Mpixel)를 활용한 고해상도/고속 카메라 설계기술 (설계도면, 거버데이터)
ㅇ 포커스 조정이 가능한 마이크로렌즈어레기 기반 플렌옵틱 카메라 제작기술 (설계도면)
ㅇ 플렌옵틱 카메라의 평가를 위한 오픈데이터 셋 (데이터베이스)
ㅇ 오픈소스 기반 플렌옵틱 영상처리 기술 (알고리즘, 소스코드)
ETRI 요구사항정의서 1건
ETRI 요구사항정의서 1건
구현관련 기술문서 등 총 15건
멀티포커스를 갖는 플렌옵틱 카메라 및 이를 위한 마이크로렌즈어레이 제작방법경 등 3건
S/W 3종
ㅇ 3D 카메라, 3D 머신비전, 3D 현미경, DepthSensor등
ㅇ 공정검사장비, SMT검사장비, PCB검사, 불량검사 등
ㅇ 3D피부진단, 치공학, 네일 3D 획득장비, 3D의료기기 등
ㅇ 해리티지 3D 캡처 장비등
ㅇ 3D camera, 3D machine vision,3D microscope, depth sensor, etc.
ㅇ Process inspection equipment, SMT inspection equipment, PCB inspection, defect inspection, etc.
ㅇ 3Dskindiagnosis, dental engineering, Nail 3D capture equipment, 3D medical equipment, etc.
ㅇ Heritage 3D image capture equipment, etc.