Embedded Files
Deep Learning based Vision & Sound Processing, Multi-modal Deep Learning, Vision Language Model (VLM, SLM, LLM)
다중 LoRA 기반 FLUX 객체 생성 파이프라인
다중 LoRA 기반 FLUX 객체 생성 파이프라인
영상 콘텐츠 자동 현지화 프로그램(2026)
사용 기술
Grounding DINO(텍스트 기반 객체 탐지)
SAM(Segment Anything Model, 픽셀 단위 분할)
FLUX.1 인페인팅 (Fill / Subject / Denoising LoRA)
응용 분야
OTT 콘텐츠 해외 현지화 (간판·로고 교체) ,가상 PPL·광고 소재 교체, 콘텐츠 리마스터링
참여 연구원
강민수(KYU), 정아영(KYU), 김남호(KBS), 김준화(KYU)
텍스트 피라미드 기반 Feature Enhancer 구조
텍스트 피라미드 기반 Feature Enhancer 구조
긴 문장을 잘 이해하는 객체 탐지 모델(2026)
사용 기술
Grounding DINO (Feature Enhancer 개선)
다중 해상도 텍스트 피라미드 (VPF / TPF / TPF-VR)
RefCOCOg 데이터셋 파인튜닝
응용 분야
복잡한 자연어 지시 기반 객체 탐지, Open-set Visual Grounding, 로봇·자율주행 등 언어-비전 인터페이스
참여 연구원
박혜인(KYU), 김준화(KYU)
Question-Guided Audio-Visual Fusion
Question-Guided Audio-Visual Fusion
질문 맞춤형 시청각 질의응답(AVQA) 모델 (2026)
사용 기술
CLIP ViT-Base/16 (영상·질문 임베딩)
Microsoft CLAP (오디오 임베딩)
Channel Attention + Cross-Attention 기반 단서 정제
Positional Encoding (시간 정보 반영)
응용 분야
음악·공연 영상 질의응답, 시청각 콘텐츠 자동 이해·검색, 스마트 미디어 어시스턴트
참여 연구원
박서현(KYU), 김준화(KYU)
Synchronized Visual-Facial Cross-Refinement
Synchronized Visual-Facial Cross-Refinement
멀티모달 Ambivalence and Hesitancy Recognition 모델 (2026)
사용 기술
Qwen-VL (전체 영상 특징 추출)
VideoMAE (얼굴 행동 특징 추출)
Self-Attention + Bidirectional Cross-Attention
Consistency–Discrepancy 기반 Pairwise Multimodal Fusion
응용 분야
인간-AI 상호작용에서의 행동 및 이해 분석
참여 연구원
박혜인(KYU), 김남호(KBS), 김준화(KYU)
Page updated
Google Sites
Report abuse