학문의 목적은 세상에 대한 진리를 발견하는 겁니다. 여러 학문 중에서 심리학이라는 학문의 목적은 사람의 마음과 행동을 설명하고 예측하는 겁니다. 이 목적을 이루기 위해 심리학은 사람들로부터 얻은 자료를 사용합니다. 

어떤 방법을 이용해서, 누구로부터, 얼마만큼의 자료를 얻을 것인지 또 그렇게 얻어진 자료를 어떻게 분석하고, 어떤 논문을 쓸 것인지는 연구자에게 달려 있습니다. 이는 어떤 의미에서는 연구자의 고유한 권리라고도 할 수 있습니다. (물론 그 연구가 얼마나 가치 있는지를 파악하는 것은 읽는 사람들의 권리이지만.)

그러다 보니 연구의 투명성이 문제가 됩니다. 그리고 이 투명성 문제는 우리가 생각하는 것보다 더 가까이 있을 수 있습니다. 우선, 쉽게 생각할 수 있는 문제는 자신의 자료를 조작하는 겁니다. 한동안 세상을 떠들썩하게 했던 Diederik Stapel의 경우가 대표적입니다. 

하지만, 이렇게까지 극단적이지 않더라도, 우리 자신도 모르는 사이에 우리는 투명한 연구를 해치는 행위를 하기도 합니다. 다음은 연구자들이 흔히 하는 행위들입니다. 

  - 원하는 결과가 나오지 않으면 몇몇 참여자의 자료를 제외 (e.g., outliers)

  - 연구에서 쓰인 모든 조건/조작을 보고하지 않음 

  - 연구에 사용된 모든 문항을 보고하지 않음 

  - 참여자 수를 미리 정하지 않고, 중간중간에 분석을 하다 원하는 결과가 나오면 자료 수집을 멈춤

실제로 얼마나 많은 연구자들이 이러한 사항들을 논문에 밝히고 있는지에 대한 논문이 있으니 한 번 읽어볼 것을 권합니다.  

PsychDisclosure.org: Grassroots Support for Reforming Reporting Standards in Psychology

투명성을 높이기 위한 제언

그렇다면 심리학 연구와 논문 출판 과정의 투명성을 높이기 위한 실질적인 방법으로는 어떤 것들이 있을까요? Simmons, Nelson과 Simonsohn(2011)은 논문을 쓸 때 저자들이 아래의 여섯 가지 사항을 준수할 것을 권합니다. 

(1) 자료수집을 언제 끝낼 것인지 미리 정하고, 이를 논문에 밝힘 

(2) 각 조건당 최소 20명의 참여자를 둠

(3) 연구에서 수집된 모든 변인들을 밝힘

(4) 연구에 사용된 모든 조작들을 (실패한 조작을 포함해) 밝힘

(5) 어떤 자료를 제외했을 때는, 왜 제외했는지와 이 자료들이 포함되었을 때의 결과를 같이 밝힘

(6) 통제변인을 사용했을 때는, 통제변인이 없을 때의 결과도 같이 밝힘

물론 이러한 변화를 한순간에 실천하는 것은 어렵겠지만, 심리학이라는 분야에서 위의 사항들이 요구되고 있음을 인지하고 조금씩이라도 이러한 사항들을 지켜가는 노력이 필요할 듯합니다. 

이들의 논문에는 어떤 음악을 들으면 나이가 어려질 수 있는지에 대한 기막힌 연구도 있으니 일독을 적극 권장합니다. 

False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant

2017년 한국심리학회 심포지움

2017년 한국심리학회 연차대회에서 반복 검증 실패에 대한 심포지움이 열리고 관련 내용이 심리학회 웹진에 실렸습니다. 관심 있는 분들은 읽어보면 좋을 듯합니다. 

파워 자세(power pose) 효과의 반복 검증 실패, 그리고 뒷이야기 / 부산대학교 심리학과 설선혜 교수

반복 검증 위기와 통계적 검증력 / 서강대학교 심리학과 석혜원 교수

투명한 연구와 출판을 위한 외국 심리학회의 노력 / 고려대학교 심리학과 박선웅 교수