다중 감각 데이터셋

핵심 데이터셋 및 연구 기회 

조선대학교 인문데이터과학연구소

1. 영아 시점 시각 경험 및 멀티모달 학습 (Infant-Perspective Visual Experience and Multimodal Learning)

BabyView Korea는 머리에 착용하는 카메라(head-mounted camera)로 영아 시점의 영상을 촬영합니다 — 영아가 실제로 무엇을 보는지, 주변 사람과 사물이 어떻게 보이는지, 그리고 이러한 시각 경험이 초기 학습에 어떤 영향을 미칠 수 있는지를 담습니다. 데이터 수집은 2025년에 시작되어 현재도 진행 중입니다. 관련 연구 방법으로는 컴퓨터 비전(computer vision), 멀티모달 분석(multimodal analysis), 행동 코딩(behavioral coding), 계산 모델링(computational modeling) 등이 있습니다.

2. 이중언어 LENA 및 종일 음성 코퍼스 (Bilingual LENA and Daylong Audio Corpora)

2025년부터 연구소는 LENA 기술을 이용해 한국 내 이중언어(bilingual) 가정을 대상으로 종일 음성 녹음(daylong audio)을 수집하고 있으며, 이중언어 노출, 보호자-아동 상호작용, 일상적 언어 사용 양상 등을 포착합니다. 이는 그전에 구축된 단일언어(monolingual) LENA 코퍼스를 기반으로 확장된 것입니다. 동일한 가정은 eBabyLab을 이용한 원격 looking-while-listening (LWL) 연구에도 참여하여, 자연관찰(naturalistic) 음성 데이터와 실시간 언어 처리에 대한 통제된 측정치를 연결합니다. 참여 가능한 연구 영역으로는 음성 주석(speech annotation), 음향 분석(acoustic analysis), 자연어처리(NLP), 이중언어 음성 환경에 대한 계산 모델링 등이 있습니다.

3. 노인 종일 음성, PET 영상, 인지 노화 (Elderly Daylong Speech, PET Imaging, and Cognitive Aging)

이 데이터셋은 수집이 완료되었습니다: 120명의 노인을 대상으로 한 종일 음성 녹음이 CN− (인지정상, 베타아밀로이드 음성 / cognitively normal, amyloid-negative), CN+ (인지정상, 베타아밀로이드 양성 / cognitively normal, amyloid-positive), MCI+ (경도인지장애, 베타아밀로이드 양성 / mild cognitive impairment, amyloid-positive) 세 그룹에 걸쳐 PET 영상 및 인지 검사 데이터와 함께 수집되었으며, 일부는 혈장 p-tau217 측정치도 포함합니다. 이를 통해 음성과 언어를 인지적·신경생물학적 변화의 지표(marker)로 다루는 연구가 가능하며, 음향 분석, NLP, 예측 모델링(predictive modeling) 등을 활용할 수 있습니다.

추가 실험 연구 (Additional Experimental Research)

연구소는 영유아 및 아동의 언어 처리에 관한 실험 연구도 수행하고 있습니다 (HPP, IPLP, looking-while-listening 등), 여기에는 eBabyLab을 통한 원격 LWL도 포함됩니다. 이는 연구소가 주도하는 다기관(multi-lab) 프로젝트인 ManyBabies at Home – LWL을 포함하며, 말소리 지각(speech perception), 단어 인식(word recognition), 이중언어 노출(bilingual exposure) 등을 다루어 위의 자연관찰 데이터에 대한 통제된 실험적 보완 역할을 합니다.