1. 초실감형 디스플레이 프레임워크를 위한 이미지 및 컴퓨터 비전 알고리즘 설계
•생성형 AI(Diffusion Model)을 활용하여 비디오의 경계 영역을 생성해 새로운 비디오 확장된 영상을 생성함
•생성된 영상을 다양한 컴퓨터 비전 알고리즘을 적용하여 최종 생성된 영상의 품질을 개선함
2. Hardware Accelerator for Deep Neural Network
•GPU의 연산 처리 속도를 가속화 및 최적화를 위하여, DRAM base의 메모리 칩을 설계하여 DNN(Deep Nerual Network)에 적용해 딥러닝 학습 및 추론을 향상하는 목적의 연구 과제를 진행하고 있음
•현재 초실감형 디스플레이 프레임워크를 위한 이미지 및 컴퓨터 알고리즘 연구를 진행하고 있으며, 해당 연구의 경우 다양한 디스플레이 프레임워크에 적용하기 위해 다양한 해상도 및 보이지 않는 영역을 생성형 AI를 이용하여 새롭게 생성함
•하지만, 생성형 AI알고리즘의 경우 굉장히 많은 연산량 및 훈련, 추론에 필요한 시간이 필요함
•이러한 부분을 개선하기 위해 해당 연구 내용을 확장 시켜 AI알고리즘 실행에 필요한, GPU를 가속화하여 훈련, 추론 시간을 단축 시키고 필요한 GPU 메모리를 최적화 함
3. 모빌리티용 Safety-Critical 기능 구현을 위한 NVM 기반 고속 및 고신뢰 메모리 시스템 기술 개발
4. 에지 디바이스 환경에 최적화 된 생성형 AI 모델의 경량화 및 실시간 추론 기술 개발
•생성형 AI 기술은 현재, 이미지 생성, 텍스트-투-이미지(T2T)등 다양한 영역에서 빠르게 확산되고 있음, 하지만 대부분의 생성형 AI의 경우, 대형 서버 환경에서만 동작하도록 되어 있는 치명적인 단점이 존재 함
•이러한 부분을 개선하기 위해 스마트글래스, 웨어러블 디스플레이 등 다양한 프레임 워크에 적용할 수 있는 생성형 AI의 초경량화 및 처리 기술 연구를 진행하고 있음
•현재 생성형 AI의 대표 모델인 Stable Diffusion의 경우, 많은 GPU를 필요로 하며 이를 해결하기 위해서 Stable Diffusion 모델을 초경량화하여, 아래 그림 예시와 같은 다양한 디스플레이 프레임 워크에 최적화 시키는 것을 목적으로 연구를 진행 함