Abstract : 본 논문은 3D 모션 영상에서 추출한 거품 입자의 동역학을 이용하여 시간적으로 동기화된 오디오를 생성하는 데이터 기반 사운드 합성 프레임워크를 제안한다. 입자의 움직임으로부터 도출된 에너지 및 밀도 기술자를 오디오 선택, 볼륨, 필터링에 매핑한다. 동적 K-means 클러스터링과 후보군 축소를 통해 효율성과 다양성을 향상시키고, 다중 프레임 합성과 크로스페이딩 및 필터링을 통해 시간적 연속성을 보장한다. 실험 결과, 입자 변화에 대응하는 반응성과 일관성을 갖춘 오디오가 생성됨을 확인하였으며, 본 방법은 해석 가능한 접근으로서 다양한 입자 기반 현상과 학습 기반 모델로 확장 가능함을 보인다. 

[paper]