📌 프로젝트 개요
- 개발 기간: 2026.02.28 - 진행 중 (앱 출시 완료)
- 소개: Mingly는 청각장애인을 위한 발음 교정 앱으로서 사용자가 말한 소리를 "들리는 그대로" 포착하여 자모 단위로 분석하고 발음 오류를 정밀하게 진단하는 iOS 앱. 
- 개발 목적: 지속적인 청능 언어치료와 일상생활에서의 불편함을 해소해 줄 발음 교정 보조도구로서의 역할.

🚀 주요 기능
- 자유 발화 스크립트 변환: 정해진 문장이 아닌 사용자가 일상에서 자유롭게 발화한 문장을 실시간으로 스크립트로 변환하여 분석. 일상 속에서도 꾸준한 발음 교정이 가능.
- 자모 단위 발음 분석: G2P(자소-음소 변환) 기반 정답 발음 전사와 실제 발음을 정렬하여 대치·삭제·삽입 오류를 자모 단위로 시각화.
- 이중 음성 인식 엔진: 온디바이스 WhisperKit(fine-tuned whisper-base, CoreML)과 Apple SFSpeechRecognizer를 병렬 운용하여 인식 정확도와 안정성을 동시에 확보.
- 발음 오류 분석 및 체점: 모음 오류, 자음 음운 오류, 누락 등 오류 유형별 가중 페널티로 0~100점 발음 점수를 산출. 
- 완전 온디바이스 처리: 모든 음성 분석이 기기 내에서 완결되어 개인 음성 데이터가 외부로 전송되지 않음. 

🧑‍💻 담당 역할
- 발음 전사 모델 파인튜닝 및 변환: Zeroth-Korean 데이터셋(~51시간)과 g2pk 음소 라벨로 whisper-base를 풀 파인튜닝하고, coremltools로 CoreML 변환하여 Apple Neural Engine에 탑재. 
- 발음 인식 파이프라인 설계: LM 보정을 배제한 음향 신호 기반 전사 방식을 설계하여, 오류 발음이 표준 맞춤법으로 교정되지 않도록 핵심 제약을 구현.
- 발음 분석 알고리즘 구현: KoreanG2P → Needleman-Wunsch 자모 정렬 → 오류 판정 → 가중 점수 산출까지 전체 채점 로직을 개발. 

📌 프로젝트 개요
- 개발 기간: 2025.09.19 - 2025.12.19
- 소개: 기존 웹 기반 날씨 비서였던 Lumee를 고도화하여, 홀로그램과 유리구슬 LED 등 하드웨어와 연동하고 카메라를 통한 옷차림 분석 기능까지 더한 프로젝트.
- 개발 목적: 단순한 정보 전달을 넘어 시각적(홀로그램, LED)이고 청각적(스피커)인 인터랙션을 통해 사용자에게 감각적인 날씨 경험을 제공.

🚀 주요 기능
- LLM 기반 자연어 대화 & 음성 인식: "우산 챙길까?" 같은 질문을 이해하고, 노크(Knock)만으로 음성 인식을 시작하여 편리하게 대화 가능.
- 개인화된 맞춤 조언: 사용자의 민감 요소(꽃가루, 추위 등), 취미, 일정 반영하여 최적의 조언을 생성.
- 개인 일정 반영: 일정 텍스트에서 장소와 날짜를 자동으로 추출하는 알고리즘을 적용하여, 해당 지역의 예보를 바탕으로 활동의 맥락에 맞는 구체적인 행동 가이드를 제공.
- 옷차림 분석 (Vision AI): 카메라로 사용자의 옷차림을 촬영하면, 현재 날씨와 비교하여 "지금 입기엔 좀 얇아요!" 같은 맞춤형 피드백을 제공.
- 감성적인 하드웨어 시각화: 날씨 상태에 따라 유리구슬 LED 색상이 변하거나, 제작된 날씨 영상이 홀로그램으로 투영.

🧑‍💻 담당 역할 (PM, Tech Lead)
- LLM 응답 알고리즘 개편: 사용자의 질문 의도와 맥락을 더 정확히 파악하여 답변하도록 프롬프트 엔지니어링 및 로직을 고도화.
- 하드웨어 회로 설계 및 연동: 라즈베리파이와 아두이노를 활용해 카메라 촬영 및 LED/홀로그램 제어 시스템을 구축하고 웹과 연동.
- 옷차림 분석 알고리즘 설계: 비전 AI를 활용해 촬영된 이미지(옷차림)를 분석하고 날씨 데이터와 대조하는 로직을 구현.
- 시각화 알고리즘 구현: 날씨 상태(비, 맑음 등)에 맞춰 LED 패턴과 홀로그램 영상이 자동으로 전환되도록 설계.

📌 프로젝트 개요
- 개발 기간: 2025.11.05 - 2025.12.23 (2025-2 AI & ML Final Project)
- 소개: 단안 카메라 기반 포즈 추정 모델인 'MediaPipe BlazePose'가 가진 깊이(Z축) 추정의 부정확성을 해결하고, 이를 Unity 엔진과 연동하여 실시간으로 3D 캐릭터를 자연스럽게 움직이는 시스템.
- 개발 목적: 웹캠 하나만으로도 고가의 모션 캡처 장비 없이 자연스러운 3D 애니메이션을 생성하기 위해, 발이 땅에 파묻히거나(Ground Penetration) 몸이 떨리는(Jittering) 기술적 한계를 AI와 필터링 기술로 극복.

🚀 주요 기능
- 딥러닝 기반 높이 보정: BlazePose의 고질적인 문제인 '공중에 붕 뜨거나 땅에 박히는 현상'을 해결하기 위해, 자체 설계한 MLP(Multi-Layer Perceptron) 모델을 도입하여 Z축(높이) 데이터를 정교하게 보정.
- 자연스러운 움직임 처리 (Post-Processing): OneEuro Filter를 적용하여 프레임 간의 미세한 떨림을 제거하고, Foot Locking 알고리즘을 통해 캐릭터가 제자리에 서 있을 때 발이 미끄러지는 현상을 방지.
- Unity 실시간 시각화 & 연동: Python에서 분석한 관절 데이터를 Unity로 실시간 전송하여 3D 캐릭터(Mixamo 등)에 리타겟팅.
- 자동 카메라 연출 시스템: 스토리 흐름에 따라 Unity 내의 카메라가 자동으로 전환되는 스크립트를 구현하여, 별도의 조작 없이도 뮤직비디오 같은 영상미를 제공.

🧑‍💻 담당 역할 (Individual Project)
- Self-Supervised Learning 모델 개발: 물리적 제약 조건을 활용하여 Ground Truth 없이도 학습 가능한 MLP 모델 구조를 설계하고 구현.
- 데이터 전처리 및 후처리 파이프라인 구축: 영상에서 키포인트를 추출(Pre)하고, 모델 통과 후 필터링(Post)을 거쳐 Unity로 내보내는 전체 파이프라인을 완성.
- Unity 연동 및 자동 연출 스크립트 작성: Python에서 처리된 데이터를 Unity로 수신하는 C# 스크립트와, 음악 박자에 맞춰 카메라 뷰가 변경되는 자동 연출 알고리즘을 개발.

📌 프로젝트 개요
- 개발 기간: 2025.09.01 - 2025.12.22
- 소개: 집에 혼자 있는 강아지가 어떤 하루를 보냈는지 궁금한 반려인을 위해, 센서로 수집한 환경 데이터를 기반으로 AI가 대신 강아지의 시점에서 그림 일기를 써주는 서비스.
- 개발 목적: 피지컬 컴퓨팅 기술을 활용하여 실제 환경 데이터를 수집하고, 이를 생성형 AI와 결합하여 사용자에게 감성적인 가치를 전달하는 IoT 프로토타입을 제작.

🚀 주요 기능
- 환경 데이터 실시간 측정: 아두이노 센서를 통해 온도, 습도, 미세먼지뿐만 아니라 물(수위)과 사료(무게) 섭취량을 실시간으로 파악.
- AI 그림 일기 생성: 측정된 데이터를 바탕으로 강아지가 느꼈을 감정과 상황을 추론하여, Gemini API를 통해 귀여운 그림과 일기 내용을 자동으로 생성.
- 무선 데이터 연동: 블루투스 통신을 통해 하드웨어(센서)와 웹 애플리케이션 간에 선 없이 데이터 전송.
- 데이터 기록 및 저장: 강아지의 하루 상태 변화를 데이터로 저장하여 언제든 다시 확인 가능.

🧑‍💻 담당 역할 (Tech Lead)
- 하드웨어 설계 및 제작: 각종 센서와 아두이노를 연결하는 회로를 구성하고 하드웨어 제작.
- 블루투스 통신 & 데이터 시각화: 아두이노에서 수집한 센서 데이터를 블루투스로 웹에 전송하고, 이를 UI에 출력하는 기능을 구현.
- AI 생성 알고리즘 개발: 수집된 환경 변수(온도, 식사량 등)를 프롬프트로 변환하여 Gemini API가 상황에 맞는 그림과 일기를 생성하도록 로직을 구현.
- 데이터 저장 및 관리: 생성된 일기와 측정 데이터를 저장하고 관리하는 기능을 개발.

📌 프로젝트 개요
- 개발 기간: 2025.05.29 - 2025.06.16
- 소개: Lumee는 단순한 날씨 정보 전달을 넘어, 사용자의 기상 민감 요소(꽃가루, 자외선, 미세먼지 등)와 취미(러닝, 산책 등)를 고려하여 맞춤형 조언을 제공하는 챗봇 기반 날씨 어시스턴트.
- 개발 목적: LLM(대규모 언어 모델)을 활용해 "마스크 써야 해?", "우산 챙길까?"와 같은 자연어 질문을 이해하고, 개인화된 날씨 정보를 직관적인 대화 형태로 제공.

🚀 주요 기능
- LLM 기반 자연어 대화: 사용자의 질문 의도를 정확히 파악하여, 딱딱한 수치 대신 친구처럼 대화하듯 날씨 정보 제공.
- 개인 맞춤형 조언: 사용자가 설정한 프로필(건강 민감도, 취미)에 따라 "오늘은 미세먼지가 심하니 야외 러닝은 피하세요"와 같은 실질적인 행동 가이드를 제공.
- 직관적인 시각화: 기온 변화나 미세먼지 수치 등을 그래프로 보여주어 정보를 한눈에 파악 가능.
- 위치 기반 자동화: 사용자의 현재 위치를 기반으로 자동으로 해당 지역의 날씨 데이터를 생성.

🧑‍💻 담당 역할
- 미세먼지/꽃가루 API 연동: API를 활용하여 사용자의 건강에 직결되는 환경 데이터를 수집하고 가공하는 로직을 개발.
- 음성 인식 기능(STT) 구현: 텍스트 입력뿐만 아니라 음성으로도 편리하게 질문할 수 있도록 음성 인식 기능을 구현.
- 앱 빌드 및 배포: 프로젝트의 빌드 프로세스를 관리하고 배포를 담당하여 안정적인 서비스 환경을 구축.