23HK1200, Developement for technology of examination and image acquisition by using plenoptic microscopy,
Lee Mun Seob
Abstract
※ 연구개발 목표 및 내용 ◎ 최종 목표 ◦연구개발 목표 - 미세공정, 병리진단 등에 적용할 수 있는 실시간 (60 fps), 서브 마이크로 미터급(< 0.1 ㎛) 축해상도와 수평해상도 (< 1.0 ㎛)를 갖는 고정형/이동형 플렌옵틱 현미경 시작품 및 영상획득 기술개발
- 플렌옵틱 현미경 영상을 이용하여 미세공정(반도체, 디스플레이, SMT) 결함진단(정확도 99.5% 이상) 기술 및 의료응용을 위한 실시간 진단기술(피부질환 10종, 민감도 95% 이상) 구현
◦과제 수행후 연구결과물 - 단일초점/다중초점/수차보정 마이크로렌즈 어레이 각 1종 - 마이크로렌즈 어레이 기반 플렌옵틱 현미경(고정형/이동형 각 1종) - 플렌옵틱 영상획득/처리/분석 알고리즘(SW) 및 SDK - 플렌옵틱 반도체/웨이퍼 결함진단 및 피부질환(한국인 대상, 병리조직 및 in-vivo 영상 10종) 영상 DB - 플렌옵틱 영상 반도체 결함진단 인공지능 - 플렌옵틱 영상 피부질환 진단 인공지능
◦연차별 기술개발 목표
◎ 전체 내용 □ 연구개발 내용 ◦플렌옵틱 현미경용 마이크로렌즈 어레이(MLA) 및 광학계 설계/제작 - 플렌옵틱 현미경 광학계 설계방안 연구 및 단일초점/다중초점/수차보정 MLA 설계/제작 - 배율(x10, x20, x50)에 따른 고정형 플렌옵틱 현미경 광학계 설계/제작 - 배율(x3, x10)에 따른 이동형 플렌옵틱 현미경 광학계 설계/제작 - 반도체 결함진단용 플렌옵틱 현미경 광학계 요구사항 반영 및 광학계 구현 - 피부질환 진단용 플렌옵틱 현미경 광학계 요구사항 반영 및 광학계 구현 - 고정형 플렌옵틱 현미경의 병리조직 진단 적용 시 형광물질 광원 조사기술 - 이동형 플렌옵틱 현미경 초점구간 가변/확장 기술 ◦플렌옵틱 현미경 시스템 및 플렌옵틱 영상처리/분석 SW 구현 - 마이크로렌즈 어레이(MLA)기반 고정형/이동형 플렌옵틱 현미경 설계/제작 - 고정형/이동형 플렌옵틱 현미경 제어 보드 설계 및 제작 - 실시간 플렌옵틱 영상처리를 위한 병렬처리 기반의 주요 알고리즘 구현 (3D 형상복원기술, 재초점기술, 물체의 형상추출 및 분석기술 등) - 결함 및 피부질환 플렌옵틱 영상분석을 위한 SW 및 SDK 구현 (초해상화 기술, 분할영상/처리기술, 시점이동기술 등) ◦공정 응용을 위한 플렌옵틱 현미경 결함 진단기술 개발 - 반도체 공정을 플렌옵틱 현미경 및 요구사항 도출(Fan-out 공정) - 플렌옵틱 반도체 결함영상 DB 구축 - 3차원 형태 플렌옵틱 현미경 영상을 통한 결함진단 AI 개발(99.5% 이상 결함 진단정확도) - 형태기반 결함진단을 위한 시편 제작 - 상용화를 위한 플렌옵틱 현미경의 반도체/웨이퍼 공정 결함진단 시험적용 및 성능 평가 ◦의료 응용을 위한 플렌옵틱 현미경 진단기술 개발 - 피부질환 진단을 위한 플렌옵틱 현미경 및 요구사항 도출 - 플렌옵틱 피부질환 영상획득을 위한 IRB 승인 - 한국형 플렌옵틱 피부질환 영상 DB 구축(피부조직 8종 및 in-vivo 10종) - 실시간 플렌옵틱 영상을 통한 질환진단 AI 개발(질환분류, 질환분할, 질환검출 네트워크 등) - 플렌옵틱 현미경의 의료기기 유효성 검토를 위한 IRB 승인 및 임상 평가 □ 과제 수행방법 - (한국전자통신연구원) 플렌옵틱 영상획득 및 디지털 홀로그래피 분야, 의료분야 인공지능 분야의 국내외 최고수준의 원천기술을 보유한 정부출연연구소로서 플렌옵틱 현미경의 원천기술 개발 및 참여기관의 기술사업화를 지원 - (공주대학교 산학협력단) 기하광학, 적응광학, 머신비전 광학분야의 국내 최고 수준의 대학연구팀으로서 플렌옵틱을 위한 현미경 광학계 및 MLA 설계 및 제작 - (서울대학교 산학협력단) 인공지능 네트워크 설계의 국내 최고 수준의 대학연구팀으로 수학기반의 영상처리, 딥러닝 기술을 통한 공정/의료분야의 결함진단 및 질환진단 AI 네트워크 기술 구현 - (전남대학교 산학협력단) 국내 피부질환 및 피부암관련 지역거점 대형병원의 의료진 및 연구진으로부터 플렌옵틱 현미경의 의학적 효용성 검토 및 병리조직/in-vivo피부질환의 플렌옵틱 현미경 영상 확보 - ((주) 크레셈) 반도체 공정관련 국내외 글로벌 고객사를 보유하고 있으며, 공정응용을 위한 플렌옵틱 영상의 요구사항 제시와 평가, 상용화 기술 연구
※ 연구개발성과 ㅇ 새로운 개념의 플렌옵틱 1.0/2.0을 위한 적층형 마이크로렌즈어레이 구현 - 단일초점 마이크로 렌즈 어레이 설계 및 제작 (85um pitch /0.025 NA/ Hexagona) (시제품 1건, 국내학술대회 발표 8건) - MLA 소재변경을 통한 마이크로렌즈어레이의 NA 변경기술 개발 (시제품1건) - 단일 레이어 다중초점 마이크로 렌즈 어레이 설계 및 제작(시제품 1건) - Skip bound 멀티레이어 마이크로렌즈 어레이 설계/제작 (시제품 1건, 국내 특허출원 2건, 미국특허 출원 1건, 미국특허출원 1건 예정) ㅇ 플렌옵틱 현미경의 정량적 분해능 검사를 위한 시험 시편 제작 및 측정 광학계 분석 - 플렌옵틱 분해능 시편 제작 (SCI 논문 1건, 우수논문상 1건) - 2D/플렌옵틱 3D 영상획득 광학계 설계 및 제작(특허 출원 1건, 시제품 1건) - 플렌옵틱 1.0/2.0 동시 획득 광학계 설계 및 제작(시제품 2건, 논문 1건) - Zoom기능 플렌옵틱 카메라 구현(시제품 1건) - 공정적용을 위한 균일 복합조명 제작(시제품 1건) - MLA 및 현미경 카메라 조립 및 특성 분석을 위한 평행광 광학계 구현(시제품 1건) ㅇ 10x/20x/50x배율 고정형/x3, x10배율 이동형 플렌옵틱 현미경 시스템 구현 (기술이전 1건, ‘24년 기술이전 2건 예정) - MLA 적용 플렌옵틱 영상센서 시제품 구현 (시제품1건) - 고속(150fps) 플렌옵틱 영상 획득을 위한 플렌옵틱 영상 센서 자체 설계 및 구현(시제품 1건) - 더모스코피 기반 이동형 플렌옵틱 영상 시스템 개발 (시제품 1건) - 실시간 플렌옵틱 영상처리 주요 알고리즘 및 SW 개발 (SW 저작권 2건) - 고정형 플렌옵틱 현미경 시스템의 결함분석을 위한 SDK 제작 및 구현(SW 저작권 1건) - 플렌옵틱 GUI 프로그램 개발 (SW저작권 1건) ㅇ 플렌옵틱 현미경 영상 표준화 - 플렌옵틱 영상기술의 국내 표준 제정(국내표준 3건) - 국제표준단체 JPEG-PLENO “학습기반 Depthmap 추출 알고리즘”을 제안 (국제표준 제안 1건) ㅇ 플렌옵틱 현미경 영상 처리 및 분석 알고리즘 개발 - 플렌옵틱 3차원 영상추출 네트워크 개발 (SW저작권 1건) - 플렌옵틱 1.0 / 2.0 영상 복원을 위한 차이 분석을 위한 시뮬레이터 구현 - 피부질환 진단을 위한 플렌옵틱 영상인식 네트워크 최적화 - 피부질환 진단 네트워크 가시화 및 GUI 보완 - 블렌더 프로그램을 이용한 플렌옵틱 2.0, 공정 및 의료 데이터셋 구축 ㅇ 플렌옵틱 현미경의 의료분야 적용 - 플렌옵틱 피부질환 의료영상 확보를 위한 IRB 승인 (2020년 7월16일 전대병원 IRB 최종승인) - 플렌옵틱 피부질환 조직표본 제작) 본 연구의 대상 피부질환 8종의 조직 샘플 500 증례 DB 구축 - 이동형 플렌옵틱 현미경 in-vivo 피부질환 DB 구축: 2021년이후 피부질환 8종의 115례 구축 - 상용 3D 현미경과 시제품 플렌옵틱 현미경의 의학적 비교 - 이동형 플렌옵틱 현미경 영상의 의학적 평가 - 플렌옵틱 데이터기반 10종 피부질환 분류모델 제작 및 평가 (민감도 96.5%, 특이도 99.6%, 정확도 96.5% 달성) ㅇ 플렌옵틱 현미경의 공정 응용분야 적용 - 공정응용 플렌옵틱 현미경 In-line 시험 환경 구축) X,Y,Z축으로 구성된 100x300mm SiP 반도체 테스트 가능한 장비 구현 및 제작한 플렌옵틱 현미경 적용 - 공정결함 분석용 비전 SW 개발 (고속 영상처리, 3D 측정 등) - 고배율(x20, x50) 결함 진단용 시편 제작 및 플렌옵틱 영상 확보) 10종의 결함진단용 시편 제작 - 대면적 300x300mm 이상의 웨이퍼 및 패널 레벨 검사가 가능한 장비 개발(시제품1건) - 공정결함 검사 및 제어 연동 SW GUI 개발 - 플렌옵틱 데이터기반 10종 공정 결함 분류모델 제작 및 평가(정확도 96.8%) ㅇ 성과 홍보 및 전시회 참여를 통한 플렌옵틱 기술 확산 - 신문기사, 성과 홍보 등 - K-Display2023, 한국전자전 2023, 광융합전시회 2023 등 국내 전시회 참가 - IFA 2023 등 해외 전시 참가
※ 연구개발성과 활용계획 및 기대 효과 [ AsIs - ToBe ] ○ 기존 기술 (스냅샷 3D 플렌옵틱 영상획득) · 기존 플렌옵틱 현미경의 경우, 저해상도 3D 영상획득 및 깊이정보 측정 제한 · 고배율에 따른 영상 왜곡 및 실시간 영상 처리에 한계
(공정결함분야 광학 검사) · 기존 3D 검사의 경우 그림자, 난반사 등으로 인한 검사 한계 및 실시간 검사의 어려움
(2D 피부영상 진단) · 기존 3차원 스캐닝 공초점 현미경의 경우 제한된 영상획득 속도 · 더모스코피등을 통한 2차원 영상 진단으로 In-vivo 3차원 피부질환 진단기기의 요구
○ 본 성과 기술 (실시간 3D 플렌옵틱 영상획득) · 적층형 마이크로렌즈어레이 적용을 통해, 새로운 개념의 멀티포커스 플렌옵틱 영상을 통해 고해상도 3D 영상획득 및 4배 이상의 DoF(Depth of Field) 개선 · 학습기반 영상처리를 통해 고배율 현미경 적용 및 실시간 영상처리
(공정결함분야 3D 광학 검사) · 단안식 영상획득 방식으로 그림자, 난반사 검사한계 개선 및 인라인 검사 제공
(In-vivo 3D 피부영상 진단) · 피부조직 및 in-vivo 피부질환 진단의 검사기술 개발 · 3D 형태학적 검사를 통해 피부질환 진단 정확도 개선
[ 신시장 창출 ] ◦ 공정 검사 및 머신비전 분야 : 고해상도 3D 영상으로 진단 대상을 다시점으로 분석하여 결함검출 및 정확도 향상 - 반도체, 디스플레이, SMT 분야의 3D AOI(Automated Optical Inspection), SPI(Solder Paste Inspection), Fan-out 패키지 검사, 스마트팩토리 공정에 활용 - 플렌옵틱 기술의 제조 산업 분야 적용으로 신속·정확한 전수 검사 가능 ◦ 의료 검진 분야 : 피부질환 3D 영상진단 분야에 적용 후 안과, 치과, 신약개발 등으로 확대 가능 - 서브 마이크로 미터급 해상도의 3D/실시간 영상획득을 통해 2D 현미경의 한계 극복이 가능하고, 별도의 전처리 없이 세포의 3D 움직임을 실시간으로 관측 가능 - 한국인 피부에 적용이 가능한 3D/실시간 영상획득, DB 구축 및 알고리즘 개발을 통해 진단 오류를 최소화
[ 성과의 파급효과 ] ◦ 국외 기술 보다 우수성, 차별성을 확보하여 기술적 우위 선점 기대 및 산·학·연·병원의 협력을 통한 동반 성장 기반 구축 및 선도적 기술 경쟁력 확보가 가능 ◦ 3D 표면 형상 및 공정 결함 분석/진단을 통해 공정 정밀도가 향상되므로 각 산업에서의 불량률 감소 및 양산 수율 향상 - 플렌옵틱 현미경 및 3D AOI 장비의 국산화로 의료 및 제조 산업의 글로벌 기술 경쟁력 확보 및 수입 대체 효과 극대화 - 3D AOI 세계 시장 규모는 2019년 6억8천만 달러에서 2024년 11억2천만 달러로 연 평균 13.0%의 성장이 예상되어 플렌옵틱 현미경 및 분석 기술이 글로벌 3D 결함 분석 시장 진출이 가능할 것으로 기대 (※ 시장규모 출처: Reports Intellect 社) ◦ 의료산업의 적용으로 각종 질병의 조기진단이 가능하고 초기 대응 및 비용 절감 효과 발생 - 플렌옵틱 현미경으로 In-vivo 피부질환을 실시간으로 분석함으로써 피부질환의 초기 대응 및 비용 절감 가능 ◦ 해외 의존도가 높은 플렌옵틱 현미경은 의료, 반도체, 문화산업 등 측정, 분석 및 검진에 활용성이 높고 연평균 10.8% 성장이 예상되어 국내 상용제품 개발 시 수입 대체 효과 발생 ◦ 3D/실시간 영상분석 기술을 의료/바이오산업에 적용함으로써 기존 2차원 영상분석법 대비 진단 성능을 획기적으로 향상 ◦ 플렌옵틱 현미경 기술을 스캐닝 방식으로 확장할 경우 대형 시료에 대한 초정밀 3D 형상정보 획득 및 분석 가능하여 타 산업으로의 파급이 가능함 - 대형 시료에 대한 초정밀 형상정보 기록이 가능함에 따라 문화재 복원 데이터 확보로 활용이 가능
(출처 : 요약문 4p)
Copyright Policy
ETRI KSP Copyright Policy
The materials provided on this website are subject to copyrights owned by ETRI and protected by the Copyright Act. Any reproduction, modification, or distribution, in whole or in part, requires the prior explicit approval of ETRI. However, under Article 24.2 of the Copyright Act, the materials may be freely used provided the user complies with the following terms:
The materials to be used must have attached a Korea Open Government License (KOGL) Type 4 symbol, which is similar to CC-BY-NC-ND (Creative Commons Attribution Non-Commercial No Derivatives License). Users are free to use the materials only for non-commercial purposes, provided that original works are properly cited and that no alterations, modifications, or changes to such works is made. This website may contain materials for which ETRI does not hold full copyright or for which ETRI shares copyright in conjunction with other third parties. Without explicit permission, any use of such materials without KOGL indication is strictly prohibited and will constitute an infringement of the copyright of ETRI or of the relevant copyright holders.
J. Kim et. al, "Trends in Lightweight Kernel for Many core Based High-Performance Computing", Electronics and Telecommunications Trends. Vol. 32, No. 4, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
J. Sim et.al, “the Fourth Industrial Revolution and ICT – IDX Strategy for leading the Fourth Industrial Revolution”, ETRI Insight, 2017, KOGL Type 4: Source Indication + Commercial Use Prohibition + Change Prohibition
If you have any questions or concerns about these terms of use, or if you would like to request permission to use any material on this website, please feel free to contact us
KOGL Type 4:(Source Indication + Commercial Use Prohibition+Change Prohibition)
Contact ETRI, Research Information Service Section
Privacy Policy
ETRI KSP Privacy Policy
ETRI does not collect personal information from external users who access our Knowledge Sharing Platform (KSP). Unathorized automated collection of researcher information from our platform without ETRI's consent is strictly prohibited.
[Researcher Information Disclosure] ETRI publicly shares specific researcher information related to research outcomes, including the researcher's name, department, work email, and work phone number.
※ ETRI does not share employee photographs with external users without the explicit consent of the researcher. If a researcher provides consent, their photograph may be displayed on the KSP.