RESEARCH 01

VLM 기반 멀티모달 통합 감정 분석 연구

연구 목표

• 음성, 텍스트, 이미지 데이터를 VLM 기반으로 통합하여 인간 감정 상태를 다각도로 분석하는 멀티모달 감정 인식 기술 개발

주요 내용

• 음성, 텍스트, 이미지에서 추출한 특징 정보를 통합하여 감정 분석 모델을 학습

• 서로 다른 모달리티 간 상호작용을 반영하는 Cross-modal Feature Fusion 및 VLM 기반 통합 추론 예측 모델 연구

모델 연구

• 다중 모달 융합 및 VLM 추론을 통한 감정 분류 모델(Emotion Recognition) 성능 향상 연구

• 멀티모달 데이터를 활용한 다양한 응용 서비스 및 감성형 에이전트 개발에 활용