🔮 Lumee - 똑똑한 감성 날씨 어시스턴트

"사용자 취향과 건강 민감도를 반영해, 가장 필요한 날씨 정보를 선별해주는 AI 날씨 비서" 

📌 프로젝트 개요
- 개발 기간: 2025.05.29 - 2025.06.16
- 소개: Lumee는 단순한 날씨 정보 전달을 넘어, 사용자의 기상 민감 요소(꽃가루, 자외선, 미세먼지 등)와 취미(러닝, 산책 등)를 고려하여 맞춤형 조언을 제공하는 챗봇 기반 날씨 어시스턴트.
- 개발 목적: LLM(대규모 언어 모델)을 활용해 "마스크 써야 해?", "우산 챙길까?"와 같은 자연어 질문을 이해하고, 개인화된 날씨 정보를 직관적인 대화 형태로 제공.

🚀 주요 기능
- LLM 기반 자연어 대화: 사용자의 질문 의도를 정확히 파악하여, 딱딱한 수치 대신 친구처럼 대화하듯 날씨 정보 제공.
- 개인 맞춤형 조언: 사용자가 설정한 프로필(건강 민감도, 취미)에 따라 "오늘은 미세먼지가 심하니 야외 러닝은 피하세요"와 같은 실질적인 행동 가이드를 제공.
- 직관적인 시각화: 기온 변화나 미세먼지 수치 등을 그래프로 보여주어 정보를 한눈에 파악 가능.
- 위치 기반 자동화: 사용자의 현재 위치를 기반으로 자동으로 해당 지역의 날씨 데이터를 생성.

🧑‍💻 담당 역할
- 미세먼지/꽃가루 API 연동: API를 활용하여 사용자의 건강에 직결되는 환경 데이터를 수집하고 가공하는 로직을 개발.
- 음성 인식 기능(STT) 구현: 텍스트 입력뿐만 아니라 음성으로도 편리하게 질문할 수 있도록 음성 인식 기능을 구현.
- 앱 빌드 및 배포: 프로젝트의 빌드 프로세스를 관리하고 배포를 담당하여 안정적인 서비스 환경을 구축.

💃 AI 3D 모션 캡처 & 애니메이션 시스템

"BlasePose의 한계를 딥러닝으로 극복한 실시간 3D 캐릭터 애니메이션"

📌 프로젝트 개요
- 개발 기간: 2025.11.05 - 2025.12.23 (2025-2 AI & ML Final Project)
- 소개: 단안 카메라 기반 포즈 추정 모델인 'MediaPipe BlazePose'가 가진 깊이(Z축) 추정의 부정확성을 해결하고, 이를 Unity 엔진과 연동하여 실시간으로 3D 캐릭터를 자연스럽게 움직이는 시스템.
- 개발 목적: 웹캠 하나만으로도 고가의 모션 캡처 장비 없이 자연스러운 3D 애니메이션을 생성하기 위해, 발이 땅에 파묻히거나(Ground Penetration) 몸이 떨리는(Jittering) 기술적 한계를 AI와 필터링 기술로 극복.

🚀 주요 기능
- 딥러닝 기반 높이 보정: BlazePose의 고질적인 문제인 '공중에 붕 뜨거나 땅에 박히는 현상'을 해결하기 위해, 자체 설계한 MLP(Multi-Layer Perceptron) 모델을 도입하여 Z축(높이) 데이터를 정교하게 보정.
- 자연스러운 움직임 처리 (Post-Processing): OneEuro Filter를 적용하여 프레임 간의 미세한 떨림을 제거하고, Foot Locking 알고리즘을 통해 캐릭터가 제자리에 서 있을 때 발이 미끄러지는 현상을 방지.
- Unity 실시간 시각화 & 연동: Python에서 분석한 관절 데이터를 Unity로 실시간 전송하여 3D 캐릭터(Mixamo 등)에 리타겟팅.
- 자동 카메라 연출 시스템: 스토리 흐름에 따라 Unity 내의 카메라가 자동으로 전환되는 스크립트를 구현하여, 별도의 조작 없이도 뮤직비디오 같은 영상미를 제공.

🧑‍💻 담당 역할 (Individual Project)
- Self-Supervised Learning 모델 개발: 물리적 제약 조건을 활용하여 Ground Truth 없이도 학습 가능한 MLP 모델 구조를 설계하고 구현.
- 데이터 전처리 및 후처리 파이프라인 구축: 영상에서 키포인트를 추출(Pre)하고, 모델 통과 후 필터링(Post)을 거쳐 Unity로 내보내는 전체 파이프라인을 완성.
- Unity 연동 및 자동 연출 스크립트 작성: Python에서 처리된 데이터를 Unity로 수신하는 C# 스크립트와, 음악 박자에 맞춰 카메라 뷰가 변경되는 자동 연출 알고리즘을 개발.

🐶 재롱이: 강아지 그림 일기

"강아지의 환경을 반영해, 주인에게 AI그림 일기를 제공하는 서비스" 

📌 프로젝트 개요
- 개발 기간: 2025.09.01 - 2025.12.22
- 소개: 집에 혼자 있는 강아지가 어떤 하루를 보냈는지 궁금한 반려인을 위해, 센서로 수집한 환경 데이터를 기반으로 AI가 대신 강아지의 시점에서 그림 일기를 써주는 서비스.
- 개발 목적: 피지컬 컴퓨팅 기술을 활용하여 실제 환경 데이터를 수집하고, 이를 생성형 AI와 결합하여 사용자에게 감성적인 가치를 전달하는 IoT 프로토타입을 제작.

🚀 주요 기능
- 환경 데이터 실시간 측정: 아두이노 센서를 통해 온도, 습도, 미세먼지뿐만 아니라 물(수위)과 사료(무게) 섭취량을 실시간으로 파악.
- AI 그림 일기 생성: 측정된 데이터를 바탕으로 강아지가 느꼈을 감정과 상황을 추론하여, Gemini API를 통해 귀여운 그림과 일기 내용을 자동으로 생성.
- 무선 데이터 연동: 블루투스 통신을 통해 하드웨어(센서)와 웹 애플리케이션 간에 선 없이 데이터 전송.
- 데이터 기록 및 저장: 강아지의 하루 상태 변화를 데이터로 저장하여 언제든 다시 확인 가능.

🧑‍💻 담당 역할 (Tech Lead)
- 하드웨어 설계 및 제작: 각종 센서와 아두이노를 연결하는 회로를 구성하고 하드웨어 제작.
- 블루투스 통신 & 데이터 시각화: 아두이노에서 수집한 센서 데이터를 블루투스로 웹에 전송하고, 이를 UI에 출력하는 기능을 구현.
- AI 생성 알고리즘 개발: 수집된 환경 변수(온도, 식사량 등)를 프롬프트로 변환하여 Gemini API가 상황에 맞는 그림과 일기를 생성하도록 로직을 구현.
- 데이터 저장 및 관리: 생성된 일기와 측정 데이터를 저장하고 관리하는 기능을 개발.

🔮 Lumee 2.0 - 똑똑한 감성 날씨 어시스턴트

"사용자 취향과 건강 민감도를 반영해, 가장 필요한 날씨 정보를 선별해주는 AI 날씨 비서"

📌 프로젝트 개요
- 개발 기간: 2025.09.19 - 2025.12.19
- 소개: 기존 웹 기반 날씨 비서였던 Lumee를 고도화하여, 홀로그램과 유리구슬 LED 등 하드웨어와 연동하고 카메라를 통한 옷차림 분석 기능까지 더한 프로젝트.
- 개발 목적: 단순한 정보 전달을 넘어 시각적(홀로그램, LED)이고 청각적(스피커)인 인터랙션을 통해 사용자에게 감각적인 날씨 경험을 제공.

🚀 주요 기능
- LLM 기반 자연어 대화 & 음성 인식: "우산 챙길까?" 같은 질문을 이해하고, 노크(Knock)만으로 음성 인식을 시작하여 편리하게 대화 가능.
- 개인화된 맞춤 조언: 사용자의 민감 요소(꽃가루, 추위 등), 취미, 일정 반영하여 최적의 조언을 생성.
- 개인 일정 반영: 일정 텍스트에서 장소와 날짜를 자동으로 추출하는 알고리즘을 적용하여, 해당 지역의 예보를 바탕으로 활동의 맥락에 맞는 구체적인 행동 가이드를 제공.
- 옷차림 분석 (Vision AI): 카메라로 사용자의 옷차림을 촬영하면, 현재 날씨와 비교하여 "지금 입기엔 좀 얇아요!" 같은 맞춤형 피드백을 제공.
- 감성적인 하드웨어 시각화: 날씨 상태에 따라 유리구슬 LED 색상이 변하거나, 제작된 날씨 영상이 홀로그램으로 투영.

🧑‍💻 담당 역할 (PM, Tech Lead)
- LLM 응답 알고리즘 개편: 사용자의 질문 의도와 맥락을 더 정확히 파악하여 답변하도록 프롬프트 엔지니어링 및 로직을 고도화.
- 하드웨어 회로 설계 및 연동: 라즈베리파이와 아두이노를 활용해 카메라 촬영 및 LED/홀로그램 제어 시스템을 구축하고 웹과 연동.
- 옷차림 분석 알고리즘 설계: 비전 AI를 활용해 촬영된 이미지(옷차림)를 분석하고 날씨 데이터와 대조하는 로직을 구현.
- 시각화 알고리즘 구현: 날씨 상태(비, 맑음 등)에 맞춰 LED 패턴과 홀로그램 영상이 자동으로 전환되도록 설계.