Psychometric & Computational Modeling Lab

Joint Modeling of Multi-modal Data
다유형 자료의 결합 분석

인간은 어떤 자극을 마주하거나 어떤 외부 상황에 처했을 때 여러 유형/양식 (modality)의 반응들을 생성한다. 심리학 연구에서는 이러한 반응들을 표집하고 가공하여 자료로 만들고, 이를 분석하여 연구 질문에 답하고자 한다. 전통적으로 가장 많이 사용되는 유형의 반응은 실험 자극 (stimulus)이나 설문/검사 문항 (item)에 대한 응답 (response) 혹은 선택 (choice)이다. 그러나 인간이 응답을 도출하는 심리적 과정 (psychological processes)은 동시에 응답 시간 (response time, RT), 안구 움직임, EEG나 fMRI 등으로 측정되는 뇌 활성화 지표, 심박수, 호르몬 수치 등 여러 생리적 지표 등 다양한 유형의 (multi-modal) 반응들을 낳는다. 이들은 모두 적절한 측정 도구를 통해 표집되고 연구에 사용될 수 있다.

동일한 심리적 과정에서 얻을 수 있는 다유형 자료를 분석할 경우, 당연히 단일 유형 자료를 분석하는 것에 비해 더 많은 정보를 얻을 수 있다. 이는 기존의 응답 중심 분석이 갖는 제약을 극복할 수 있는 대안이 되기도 한다. 대표적으로 서로 양립하는 가설들 중 어떤 것이 더 정확한지에 대해 응답 자료만으로는 설명이 어려운 경우, 다른 유형의 변수를 들여다 보는 것이 큰 도움이 될 수 있다. 예를 들어 인간의 수리 지각 (많은 사물들의 개수를 빠르게 그리고 대략적으로 파악하는 것)에 대해서는 선형 표상 (linear representation)과 로그 표상 (log representation)의 두 가설이 제시되어 있다. 이 두 가설은 모두 신경학적인 근거를 가지고 있으며 수리 지각 과제에 대한 인간의 응답 자료를 비슷한 수준으로 잘 설명하는 것으로 알려져 있다. 즉 응답 자료만으로는 두 가설을 구별하고 그 우열을 가리기 어려운 것이다 (e.g., Dehaene, 2003). 하지만 여러 유형의 수리 지각 과제에서 표집된 응답과 응답 시간을 동시에 분석한 연구에서, 1) 두 가설이 응답 시간에 대해 매우 다른 예측을 제시한다는 것을, 2) 과제 자극의 종류에 따라서 어떤 가설이 더 정확한 예측을 제시하는지가 달라질 수 있다는 것을 밝힌 바 있다 (Ratcliff & McKoon, 2018). 동일한 실험에서 쉽게 표집할 수 있는 응답 시간 정보를 통해 기존 응답 중심 분석에서는 찾지 못했던 차이를 밝혀낸 것이다.

[응답 - 응답 시간 결합 모형]

응답 시간은 상술한 다양한 유형의 반응들 중 응답과 더불어 가장 쉽게 표집할 수 있는 변수이다. 컴퓨터 기반의 표집이 쉬워지면서 응답과 응답 시간의 결합 분석 모형에 대한 관심도 증가하고 있다. 지각적, 인지적 의사결정을 다루는 실험 심리 분야에서 응답 - 응답 시간 결합 분석은 이미 반 세기 이상의 역사를 가지고 있다. 대표적인 모형이 참고: 계량심리학 소개 - 3. 수리/인지과정 모델링에서 소개한 Diffusion Decision Model이다.

응답 - 응답 시간 결합 분석은 다른 분야로도 전파되고 있다. 계량심리학에서 역시 측정 자료의 응답 - 응답 시간에 대한 여러 모형들이 제시되어 오고 있다. 대표적인 접근이 위 그림 (A)의 Hierarchical Framework (van der Linden, 2007)이다. 위계적 베이지안 모델링 기반의 이 접근에서는 p번째 응답자의 i번째 문항에 대한 응답 Xpi를 (응답에 대한) 기존 측정 모형으로 분석하고 그에 대응되는 응답 시간 Tpi를 적절한 분포 모형 (e.g., 로그 정규 분포) 하에 분석함과 동시에 (그림의 Level 1), 요인와 문항 모수 등 각 모형의 모수들이 공통적으로 따르는 분포 (그림의 Level 2)를 모델링한다. 이를 통해 응답을 관장하는 구성 개념 요인 θp과 응답 시간을 관장하는 속도 요인 τp의 연관성을 모델링할 수 있게 된다. 또 다른 접근이 그림 (B)의 Diffusion Item Response Theory (DIRT; Tuerlinckx & De Boeck, 2005) Model이다. 이는 Diffusion Decision Model을 (실험 자료가 아닌) 측정 자료에 적절하게 개량한 모형으로, p번째 응답자 - i번째 문항의 응답과 응답 시간을 결정하는 여러 인지적 요소들을 요인과 문항 모수의 함수로 모델링한다.

[모형 기반 인지 신경과학에서의 Joint Modeling]

다유형 자료 결합 분석으로의 보다 본격적인 확장은 모형 기반 인지 신경과학 (Model-based Cognitive Neuroscience, MBCN; Turner, Forstmann, et al., 2017) 분야에서 찾아볼 수 있다. 인지 신경과학에서는 EEG, fMRI 등을 이용, 심리적 실험 과제를 진행하는 피험자의 행동 자료 (응답, 응답 시간 등)와 신경 자료 (뇌 활성화 지표 등)을 동시에 표집하고 변수들 간 연관성을 규명한다. 뇌 부위들 간의 네트워크, 특정 뇌 부위의 활성화와 과제 수행 정확도 간 관계 등에 대한 연구가 여기에 포함된다. 더 나아가 모형 기반 인지 신경과학에서는 행동 자료에 대한 수리/인지과정 모델링이 가미된다 (계량심리학 소개 - 3. 수리/인지과정 모델링). 즉 1) 응답 - 응답 시간 등 행동 자료에 대한 인지 모델링을 통해 피험자의 여러 인지적 요소를 추출하고, 2) 인지적 요소와 뇌 부위의 활성화 간의 연관성을 연구한다.

모형 기반 인지 신경과학의 기법 중 하나인 Joint Modeling에서는 위계적 베이지안 모델링을 통해 행동 자료에 대한 분석, 신경 자료에 대한 분석, 그리고 행동-신경의 연결성에 대한 분석을 모두 동시에 진행한다. 각 분석을 단계 별로 적용할 경우 개별 단계에서 발생할 수 있는 통계적 오차 및 불확실성이 다음 단계에서는 무시될 수 밖에 없는데, Joint Modeling 하에서는 모든 분석이 동시에 이루어지므로 이러한 문제를 피할 수 있게 된다. 대표적인 예시인 Neural Drift-Diffusion Model (NDDM, 상단 그림; Turner, van Maanen, & Forstmann, 2015의 Figure 1을 발췌)에서는 행동 자료를 Diffusion Decision Model로 분석하여 피험자의 인지적 요소 (그림의 θ) 들을 추출함과 동시에 이들을 여러 뇌 부위의 활성화 지표 (δ)와 연결하여 분석한다. 이러한 연결에는 다변량 정규 분포 모형(Ω)이 사용되며, 이 분포의 상관 행렬을 통해 인지-신경 간 연결고리를 파악할 수 있게 된다.

모형 기반 인지 신경과학의 기법들은 행동-신경의 다유형 자료를 동시에 분석하기 때문에 모형의 복잡도도 높고 분석 시간도 오래 소요된다. 그렇기에 모형을 간소화하여 모형 추정 시간을 줄임과 동시에 해석을 원활하게 하기 위한 방법론들이 연구되고 있다. 예를 들어 NDDM의 다변량 정규 분포가 갖는 상관 행렬을 요인 분석 (Factor Analysis)로 모델링하고 (Turner, Wang, & Merkle, 2017) Bayesian Lasso와 같은 통계적 정규화 기법을 적용하여 보다 간명한 (parsimonious) 결과를 유도하기도 한다 (Kang et al., 2022).

상술한 Joint Modeling 기법은 응답, 응답 시간, fMRI 등 특정한 변수 유형에 국한되지 않는 기법이다. 여러 유형의 자료와 적절한 모형이 있다면 동일한 아이디어에 입각해 이들을 확장한 Joint Model로 확장할 수 있다. 연구실에서는 여러 수리/인지과정 모형, 강화 학습 (Reinforcement Learning) 모형, 심리측정 모형을 토대로 실험 행동 자료와 생리적 지표간의 결합 분석 연구를 계획하고 있다.