1. AI-Based In-Sensor Processing SoC: Edge Intelligence & Physical AI

자율주행, 로보틱스, 드론, AR/VR, 그리고 스마트 디바이스를 포함한 다양한 Physical AI 시스템에서는 대규모 시각 데이터를 실시간으로 처리하기 위한 초저전력·초저지연 인공지능 기술이 요구된다. 기존 vision system은 이미지센서가 획득한 전체 영상을 외부 프로세서(AP/GPU/NPU)로 전송한 후 객체 인식, depth estimation, scene understanding 등의 연산을 수행한다. 그러나 고해상도·고프레임 영상의 경우 막대한 데이터 전송 대역폭과 메모리 접근 전력이 요구되며, 이는 시스템의 전력 소모 및 지연시간 증가의 주요 원인이 된다. 

AI 기반 In-Sensor Processing 은 영상 획득과 동시에 센서 내부에서 특징 추출(feature extraction), 객체 검출(object detection), depth preprocessing 등의 연산을 직접 수행함으로써 데이터 이동량과 시스템 전력을 획기적으로 감소시키는 차세대 센서 컴퓨팅 기술이다. 특히 센서와 AI 연산의 결합은 edge AI 시스템에서 요구되는 초저전력(always-on) 동작, 실시간 반응성(real-time response), 개인정보 보호(local processing), 그리고 저지연(low-latency) 특성을 동시에 만족시킬 수 있어 차세대 intelligent vision system의 핵심 기술로 주목받고 있다. 

EEMIX Lab에서는 CMOS 이미지센서, LiDAR/ToF 센서, Event-Based Vision 센서 등 단일 칩 센서 IC를 기반으로, sensing과 AI 연산 기능을 하나의 칩에 집적한 AI 기반 In-Sensor Processing SoC를 연구한다. CMOS 공정의 고집적 특성을 활용하여 기존의 sensor + processor 구조가 가지는 데이터 병목 및 전력 한계를 극복하고, 센서 내부에서 지능형 연산을 수행하는 초저전력 intelligent vision sensor의 구현을 목표로 한다. 이를 통해 차세대 자율주행, 로봇, XR, 드론 및 edge AI 시스템에 적합한 초소형·초저전력 intelligent sensing platform을 구현하고자 한다.

2. CMOS LiDAR Sensor: Key Sensor for Autonomous Vehicles, Robotics, and AR/VR

자율주행 및 Physical AI 핵심 3대 센서는 크게 camera, radar, 그리고 LiDAR를 들 수 있다. Camera의 경우 3D 영상을 위한 stereo matching 알고리즘 및 calibration 기술을 필요로 하고, 원거리 오차가 크며, 배경 조도에 취약하다는 문제점이 있다. Radar는 원거리 감지에 적합하나, 해상도의 한계로 인해 객체의 식별 (차량 인식, 보행자 인식 등)이 어렵다는 문제점이 있다.

LiDAR(Light Detection And Ranging) 센서는, 원거리를 정밀하게 측정 가능하고, 배경 조도 내성이 크며, 높은 해상도로 구현이 가능하므로 자율 주행의 필수 센서로 부각되고 있다. 또한 LiDAR는 애플 아이패드 프로 및 아이폰 플래그십 모델에 적용되어 카메라 autofocus 및 모바일 증강현실 어플리케이션으로 적용되고 있다. 최근에는 서비스 로봇을 포함한 가정용 산업용 로봇에 LiDAR가 탑재되어 자율주행을 위한 고정밀 사물/상황 인지의 주요 센서로 활용되고 있다. 

EEMIX Lab에서는 고감도 픽셀 어레이, TDC 등의 회로부, ISP를 하나의 칩에 집적한 CMOS LiDAR 센서 SoC를 연구한다. CMOS 공정의 고집적 특성을 이용하여, 기존의 bulky한 discrete 소자 기반의 센서가 아닌, 단일 칩으로 집적된 초소형 LiDAR 센서의 구현을 목표로 한다. LiDAR의 센싱 기능 및 부가적인 신뢰성 향상 기능들을 단일 chip에 집적하여 구현함으로써 센서의 초소형화 뿐만 아니라 전체적인 LiDAR 시스템의 부피 및 단가 절감을 가능케 한다. 

CMOS LiDAR 센서 SoC는 고밀도 SPAD로 구성된 macro pixel array, avalanche 전류를 readout하여 디지털 펄스를 출력하는 analog front-end 회로, macro pixel 안의 SPAD들의 동시 출력을 감지하여 SNR을 향상시키는 concurrence detector, 광 조사 시간부터 반사된 광자가 감지되는 시간까지의 TOF를 측정하는 Time-to-Digital Converter (TDC), 외광 및 간섭 제거 회로, 그리고 이들을 구동하기 위한 bias 회로 및 Phase-Locked-Loop (PLL) 회로로 구성된다. 세부 연구 주제는 다음과 같다. 

3. Photon-Counting Image Sensor: All-Digital Camera

기존의 CIS는 photodiode에 광전변환된 전자를 일정시간 축적(빛에 노출)하여 아날로그 회로를 통한 전압 변환 및 ADC를 통한 디지털 변환 방식의 아날로그 방식으로 동작한다. 이로 인해 극저조도에서는 잡음에 취약하며, 극고조도에서는 용량의 한계로 인한 영상포화를 겪게 된다.   

최근 초고감도 수광 소자인 single-photon avalnche diode(SPAD)를 활용한 photon-counting CIS가 대두되기 시작하였으며, 기존의 전자 축적 기반의 아날로그 방식이 아닌, SPAD로부터의 출력을 디지털 계측하는 fully digital 방식을 사용하는 차세대 이미지 센서이다. 디지털 방식을 취하므로 '제로' 잡음, 높은 용량을 가지므로 높은 dynamic range를 가지며, 극저조도/극고조도를 감지가 요구되는 차량, 로보틱스, 산업/과학용 등 다용도 활용될 것으로 예상된다.   

Photon-counging CIS는 수광소자인 SPAD를 포함하는 픽셀 analog front-end 회로, 픽셀로부터의 디지털 신호를 읽어들이는 디지털 리드아웃 회로, PLL, 구동 회로 등으로 구성된다. 

저조도 영상 획득, 넓은 동적영역에서의 영상 획득 (High-Dynamic-Range Imaging)을 위한 photon-counging 이미지센서의 소자, 회로 및 아키텍쳐를 연구한다. 세부 연구주제는 다음과 같다.

4. Event-Based Vision Sensor (EVS): Computer Vision for UI/UX

Dynamic Vision Sensor(DVS)란 10-bit 이상의 영상 신호를 반복적 고정량으로 출력하는 CIS와는 달리, light-intensity의 변화를 감지하여 그 변화량을 디지털로 encoding하여 출력하는 vision 센서이다.    

사물의 움직임을 추출하여 그 변화된 정보만을 출력하므로 저대역 및 저전력을 그 특징으로 하며, 사물 인식 및 제스처 인식에 사용된다. 

DVS는 수광소자, light-intensity 변화를 감지하는 픽셀 analog front-end 회로, 변화량을 encoding하는 pixel-parallel processing 회로, encoding된 정보를 고속 전송하는 디지털 리드아웃 회로 등으로 구성된다. 

저전력 DVS 회로 및 아키텍처, 잡음 제거 알고리즘, 고속 디지털 리드아웃 회로, 신호처리 알고리즘을 연구한다. 세부 연구주제는 다음과 같다.

5. CMOS Image Sensor: Ultra Low-Power Camera

모바일, digital still camera의 핵심 센서는 CMOS Image Sensor(CIS) 이며, 고화질 영상 촬영을 위한 고화소화 및 저잡음화를 위한 연구가 꾸준히 진행되어 왔다.   

최근 Mobile UI/UX, 보안, AR/VR, mirrorless car, robot vision 등 새로운 application이 창출되며, CIS는 기존의 사진 촬영용 뿐만이 아닌, 다양한 application을 위해 지속적으로 영상을 획득하는 Always-On 이미징을 통해 영상 정보를 지속적 그리고 즉각적으로 제공함으로써 영상 인식 기반 가상 정보를 결합 가능케 하는 모바일/웨어러블 기기의 핵심 센서로 그 역할이 확대되었다.  

CIS는 수광소자인 photodiode를 포함하는 픽셀 회로, 픽셀로부터의 아날로그 신호를 읽어들이는 Analog-Front-End(AFE) 회로, 디지털 변환을 위한 Analog-to-Digital Converter (ADC)회로, PLL, 구동 회로 등으로 구성되며, 여기에 얼굴/제스쳐/사물 인식을 위한 Image Signal Processor (ISP)를 하나의 chip에 집적한 SoC로 구현된다. 

고화질 영상 획득, 넓은 동적영역에서의 영상 획득 (High-Dynamic-Range Imaging) 뿐만 아니라 초저전력 Always-On 이미징을 위한 CMOS 이미지센서의 소자, 회로 및 아키텍쳐를 연구한다. 세부 연구주제는 다음과 같다.

6. Indirect Time-of-Flight (iToF) Image Sensor: High-Resolution Short-Distance 3D Imaging 

Indoor 게이밍에 한정적으로 적용되던 3D 이미지센서는 애플의 모바일 3D 얼굴인식 솔루션인 Face ID, BMW-7에 탑재된 차량용 제스쳐 인식 모듈 등의 어플리케이션으로 확장, 다양한 분야에서 2D 영상의 한계를 극복한 고정밀 3D 영상인식 기반 솔루션을 제공한다. 기존 3D 센싱 기법인 스테레오 카메라, 구조광 방식 depth 센서는 조도환경의 취약성, 영상처리기의 복잡성, 큰 form factor 등의 문제점이 있는 반면, indirect Time-of-Flight (iToF) 이미지 센서는 고해상도, 고정밀 depth를 소형 센서 모듈로부터 간단한 연산을 통해 획득할 수 있다는 장점이 있다. 

최근 모바일 폰의 후면에 AR/자동초점 기능을 위한 iToF 센서 모듈이 탑재되기 시작하였으며, 전면의 3D 얼굴인식, AR 글래스와 같은 차세대 웨어러블 기기, 로봇 비전 등 활용성과 수요가 급격히 증가하고 있다. 

하지만 기존의 iToF 센서는 수광 소자의 감도 및 속도 한계, 큰 잡음으로 인해 정밀도가 저하되어 얼굴 인식과 같은 고정밀 어플리케이션에 부적합하다. 정밀도 향상을 위해 고주파 변조가 필요하나, 높은 전력으로 모바일 기기 적용이 어려우므로, 저전압, 고주파 변조 가능한 소자 및 픽셀 개발이 필요하다.

Lock-in 픽셀의 고주파 변조시 demodulation contrast를 향상시켜 고정밀화 하기 위해 TG 드라이버 개발이 필수적이다. 또한 TOF 센서에서 TG 드라이버를 제외한 최대 전력 소모부는 Analog-to-Digital Converter (ADC)이고, lock-in 픽셀 내의 아날로그 메모리에 저장된 demodulated charge의 손실을 방지하기 위해서는 고속 ADC가 필요하나, 전력이 증가된다. 모바일용 ToF 센서를 위해서는 저전력, 고속 ADC의 탑재가 필요하다. 고정밀 3D 영상을 획득하는 iToF CMOS  이미지센서를 연구하며, 세부 연구 주제는 아래와 같다.