최근 인간의 뇌를 머신러닝 관점에서 연구하는 미할 이라니 (Michal Irani) 교수의 발표를 들을 기회가 있었다. 그분은 이스라엘 와이즈만 연구소 (Weizmann Institute of Science)에서 초청 강연을 위해 이역만리 한국까지 먼 길을 오셨다. 그 분의 주요 연구 주제는 인간의 fMRI와 같은 뇌파 신호로부터 원래 이미지를 복구하는것으로, 이미 어느 정도 규모의 연구팀을 이끌고 계셨다. 당시 초청 강연도 해당 주제에 대한 진행 상황 및 후속 연구 계획에 대한 주제였다. 특히, 뇌파 신호의 패턴은 사람마다 다르다는 점, 뇌파 신호를 구하는 것 자체가 어렵다는 문제를 머신 러닝에서 흔히 사용하는 자기 지도 학습 (Self-Supervised Learning) 기법으로 해결하고, 이를 바탕으로 인간의 뇌파에 대한 공통적인 특징점을 뽑아내려는 계획이 있다는 점이 감명 깊었다. 해당 발표가 끝나고 난 이후 질의응답 시간, 필자에겐 흥미로운 질문이 떠올랐다. "인간의 뇌파 신호로부터 이미지를 복구할 수 있다면, 인간이 어떤 대상 (예를 들어, 유니콘)을 상상하였을 때 잡아낼 수 있는 뇌파도 비슷한 원리로 원래 이미지를 복구할 수 있습니까?" 그 교수님께서 그 자리에서 답을 주시진 못하였으나, 상당히 흥미로운 주제고 관련 연구를 준비하고 있다고 답을 주셨다. 이번 글에서는 필자의 질문에 대한 답, 그리고 이로부터 파생되는 여러 흥미로운 후속 질문들을 다룰 예정이다.

인간의 뇌파로부터 이미지를 복구한다는 문제를 어떻게 바라볼 수 있을까? 이는 "인간"의 "뇌"라는 기계에 "사과"라는 이미지를 입력하여, "뇌파"라는 외부 신호를 검출한 것으로 이해할 수 있다. 다만, "인간"은 내부 상태-기억이라거나 우리의 정신, 마음-를 가지는 상태 기계 (State Machine)이므로 이런 일차원적인 접근은 올바르게 맞지 않을 수 있으나, 당장은 이와 같이 가정하자. 그렇다면, 우선 입력-출력이 잘 정의되었으니 "뇌" 자체를 어떤 미지의 함수가 임베딩된 오라클로 이해할 수 있지 않을까? 그렇다면, 뇌파로부터 이미지를 복구하는 것은 사실 전통적인 역설계 문제 (Inverse Problem)의 하나이지 않을까?

이러한 이해로부터 우리는 다음과 같은 상당히 비인도적인(!) 실험을 고안할 수 있다: 어떤 사람 한 명을 MRI 측정 기계에 묶어 놓자. 대신 눈은 항상 뜨고 있게 고정하고, 마르지 않도록 인공 눈물을 투여하자. 실험에서의 노이즈를 줄이기 위해 감정을 차단하는 약물까지 주입하자. 이제 그 사람 눈 앞에 ImageNet 데이터셋의 이미지들 (1000만장 조금 넘는다)을 하나씩 띄워 주고, 한 장 띄울 때 마다 MRI 기계를 돌려서 뇌파를 뽑아내자. 그러면, 우리는 그 사람-블랙박스 오라클-에 대한 입력 및 출력 쌍을 알고 있으니, 그 블랙박스 오라클을 특정 함수로 근사할 수 있다. 흔히 AI 보안 주제에서 다루는 Model Stealing Attack이다. 이와 반대로, NbNet (TPAMI 2018), Vec2Face (CVPR 2020)과 같이 입력 및 출력 쌍이 주어진다면 해당 블랙박스 오라클의 *유사* 역함수도 계산할 수 있다는 사실이 알려져 있다. 즉, 이라니 교수님께서 하신 연구에서 데이터가 모자라다는 문제를 이와 같이 해결할 수 있다는 것이다! 물론 해당 연구를 수행하게 된다면 상당히 높은 확률로 IRB (기관생명윤리위원회; Institutional Review Board)으로부터 리젝 당할 것이며, 블랙 연구자라는 오명을 쓰게 될지도 모르겠다...

물론 저런 연구를 수행하는 것은 윤리적인 문제가 있을 뿐만 아니라, 그 부분을 배제하더라도 문제가 많다. 우선, 역 설계 문제 자체는 만약 측정 시에 노이즈가 있다면 전통적인 "어려운 문제"에 속하게 된다. 가령, 숨겨진 함수가 선형 함수라고 하더라도, 일정 수준 이상의 측정 노이즈가 끼게 된다면 완벽히 원본을 복구하는 것이 상당히 어렵다 (NP-Hard)라는 것이 잘 알려져 있다. 물론 어느 정도의 근사는 얻을 수 있겠지만, 이라니 교수님께서 언급하셨다싶이 뇌파 자체도 상당히 많은 노이즈를 내포하고 있으며, 사실 교수님도 그 부분이 기술 장벽이지 않았을까 싶다. 또한, "뇌"를 이제 "상태 기계"로 가정하고 문제를 바라보면, 이 또한 문제 성립 요건에 큰 영향을 주겠다. 가령, 인간을 포함한 모든 생물은 변화로부터 더 큰 자극을 얻는다. 주변 환경의 변화가 그 개체의 생존에 영향을 줄 수 있으니까. 그리고, 적어도 이전 이미지는 기억할 것이니 "변화"라는 개념도 잡아낼 수 있겠지. 따라서, 이미지를 어떻게 섞는지에 따라 같은 사람이라도 출력되는 뇌파의 형태가 다를 것이다. 물론, 영화 메멘토처럼 그 사람이 기억을 잃어버린다면, 혹은 물리적으로 그렇게 만들어 버린다면(!) "상태 기계"라는 가정 또한 없앨 수 있겠지만, 그 경우엔 IRB로부터 더욱 강력한 리젝을 받게 될 것이다. 이라니 교수님도 그래서 저런 비윤리적인 방식 보다는, 인간의 뇌파 데이터를 취합해서 공통된 특성을 뽑아내려는 프로젝트에 더 관심이 가셨겠지. 

물론, 블랙박스 오라클이 "상태 기계"인 경우 그 오라클에 대한 역설계 문제를 푸는 것도 아주 흥미로운 주제다. 시간 스텝에 대한 적절한 가지치기 (Branching)을 할 수 있다면 문제 자체는 적어도 유한 시간 안에 풀 순 있겠지. 하지만, 당장은 덮어두고 그걸 풀어주는 효율적인 알고리즘이 있다고 가정하자. 그러면 무엇을 할 수 있을까? 인간을 디지털 세계에 업로드하는 것? 정부 고위 관계자의 뇌파를 하이재킹해서 기밀 정보를 뽑아내는 것? 그런 문제들도 재미있지만, 필자가 던진 질문을 다시 한번 곱씹어보자: 인간이 상상하는 대상을 이미지로 복구한다는 것이 어떤 의미를 가질까? 만약 우리의 알고리즘이 상당히 효율적이고 아주 정확하다면, 우리 내부의 정신 세계를 일종의 시각적인 형태로 외부로 표출할 수 있을 것이다. 즉, 어떤 대상 그 자체-사과, 바나나, 오렌지, 예술 작품, 혹은 추상적 대상인 돈, 명예, 종교-와 이로부터 수반되는 내부의 주관적인 감각-무서움, 즐거움, 아름다움, 우스꽝스러움-을 외부의 인간이 객관적인 형태로 해석할 수 있는 시각 정보로 되돌릴 수 있다는 것이다. 이 결과는 상당히 강력하다. 물론 나도 내가 생각하는 "유니콘"의 특징-흰 색이다. 뿔이 하나 있다. 말과 같이 생겼다-을 다른 사람에게 설명함으로써 전달할 수 있지만, 그런 설명들을 어떻게 조합할지, 그리고 어떤 사전 정보 (Prior Knowledge)가 있는지에 따라 듣는 외부인은 다른 무언가를 떠올릴 것이다. 가령, 브로니 (Brony)에게 유니콘을 설명하면 마이리틀포니의 어떤 캐릭터를 떠올릴 것이고, 말을 살면서 한 번도 본 적이 없는 센티넬 섬의 어떤 원주민에게 설명하면 내가 전혀 상상하지 못한 무언가를 떠올리겠지.

인간의 정신 세계를 분석하는 것은 철학적으로도 상당히 오래된 문제이며, 뜨거운 감자이다. 당장 이번 글의 명연 파트에 등장하는 지그문트 프로이트 박사님도 "정신분석학"이라는 사상을 남기셨고, 인간의 정신을 "꿈"을 매개로 분석하는 방법론을 주창하셨으니. 철학적인 의미 이외에도, 꿈은 구운몽, 몽유도원도와 같은 고대 문학 및 예술 뿐만 아니라 인셉션 (Inception; 2010), 컨택트 (Arrival; 2016), 릭 앤 모티 (Rick & Morty)와 같은 SF 영상물에서 처럼 우리 인간에게는 미지의 영역이지만 그래서 더욱 신비로운 대상이다. 그렇다면, 우리의 효율적인 알고리즘을 여기에도 사용할 수 있지 않을까? 인간이 꿈을 꾸는 도중에도 뇌파는 나올 것이며, 꿈 속에서도 우린 어떤 대상을 "본다"고 인지할 수 있으니 시각 피질이 활성화되어 특정 fMRI 신호가 나올 것이다. 그러면 우리의 "훌륭한" 알고리즘이 있으니 그 사람의 꿈을 스냅샷 형태로 만들 수 있겠다. 좋은 컴퓨터까지 있다면 영상화도 할 수 있을 것이고 QHD 144 FPS로도 즐길 수 있겠지. 그러면 꿈을 연구하는 수많은 연구자들의 숙원, 그리고 많은 루시드 드리머 (Lucid Dreamer)들의 숙원을 이룰 수 있을 것이다! 특히, 루시드 드리머들이 어떻게 꿈 속에서 자기 인지를 할 수 있는지를 잡아낼 수 있다면 꿈 자체에 대한 우리의 이해도를 더욱 끌어올릴 수 있지 않을까?

이러한 아이디어의 초석으로, 다음과 같이 상당히 흥미로운 (그렇지만 여전히 비윤리적이어서 실험할 수는 없는) 사고 실험을 제안한다. 꿈 속의 우리는 외부 시간의 흐름, 그리고 외부 자극을 인지하지 못한다. 그렇지만, 우리는 꿈 속 사람의 주관적인 감정을 시각화, 심지어 실시간 영상화까지 할 수 있는 아주 효율적인 알고리즘이 있다. 만약 자고 있는 사람을 그 사람이 인지하지 못한 채로 죽일 수 있다면 (길로틴으로 목을 친다거나, 혹은 존엄사와 같이 고용량 수면제를 주입한다거나) 그 사람은 꿈 속에서 어떤 주관적인 감정을 느낄까? 인셉션 영화처럼 림보 (Limbo)에 빠지게 되어 영원히 꿈속을 해메게 될까? 아니면 단순히 전자 제품의 전원을 뽑듯이 한 순간에 꺼져버릴까? 물론, 외부 관측자 시점에서는 후자일 것이다. 직접 어느 시점에 그 사람을 (생물학적으로) 죽음으로 이끌었고, 죽은 사람은 생명 활동을 하지 않을 것이며 따라서 꿈도 꾸지 않을 것이니. 

이제 내부 관측자 시점에서 고민해보자. 문제 정의에 따라 내부 관측자는 "죽음"을 인지하지 못한다. 다만, 절대적인 시간 관점에서 내부 관측자 입장에서는 꿈을 꾸는 시간은 한정되어 있으므로, 내부 관측자가 어떻게 시간을 인지할 것인지에 대해 다음과 같은 가설을 세울 수 있다. 기본적으로 꿈을 꾸는 내부 관측자는 외부 관측자와 시간의 흐름을 다르게 느낀다. 우리 모두 비슷한 경험을 아주 많이 해 보았을 것이다. 구운몽의 주인공은 하룻밤 꿈에 한 사람의 인생을 살아보았으니. 그리고, 인간이 죽음에 다다르는 동안, 우리의 뇌는 최대한 고통을 회피하기 위해 도파민과 같은 쾌락 물질을 내뿜는다. 다만, 우리 의식이 인지하는 것과, 신체 기관이 외부 자극으로 반응하는 것은 서로 다른 것으로 가정하자. 여러 실험에서 뇌의 완전한 종료 직전에 뇌의 특정 파형이 일시적으로 급격히 증가하는 현상들이 관찰된 바 있다. 흔히 이야기하는 주마등도 비슷한 기전으로 관찰된다. 그렇다면, 내부 관측자는 블랙홀에 빠진 것과 같이 시간이 영원히 늘어나는 것과 같은 현상을 느끼지 않을까? 죽음에 다다를수록 시간이 느리게 흐르고, 결국 어느 한 장면에서 영원히 멈추게 되는 것이다. 내부 관측자 입장에서는 죽음을 인지하지 못하니 영원히 꿈에 갇히게 되겠지. 만약 저 내부 관측자가 루시드 드리머여서 본인이 꿈 속에 있다는 것을 인지하게 된다면 상당히 안타깝게 될 것이다. 물론, 외부 관측자 입장에서는 내부 관측자가 인지하는 시간이 기하급수적으로 빠르게 흐르다, 우리의 알고리즘으로부터 온 영상이 어느 순간 뚝 하고 끊어져버리는 것처럼 (단위 시간 당 읽어들일 수 있는 정보량의 수용량을 넘어서서) 인지하게 될 것이다. 한 가지 아쉬운 점은, 이 가설은 쉽사리 검증할 수 없다는 것이다. 우리는 실험 참여자도 없고, 저런 효율적인 알고리즘도 없으니까. 그렇지만 프로이트의 말과 같이 꿈이 우리의 무의식 세계를 대변한다면, 죽음, 그리고 죽음과 수반되는 여러 현상을 이해하는 수단 중 하나로 이러한 사고실험을 고려해볼 수 있지 않을까?

언젠가는 우리가 인간의 정신, 그리고 꿈을 정복할 날이 올 것이다. 앞서 언급한 여러 논의들이 결국 우리의 문제를 더욱 잘 이해하고, 생각의 저변을 넓힐 수 있을 것으로 믿는다. 또한, 기술의 발전, 그리고 이라니 교수님같은 분들의 헌신과 노력으로 윤리적인 문제 없이 이러한 실험들을 언젠가는 실제로 구현할 수 있을 것이라 기대한다.