이번 글에서는 이러한 흐름을 따라 감성 AI의 주요 알고리즘과 모델이 어떻게 발전해왔는지, 그리고 앞으로 어떤 방향으로 나아가야 하는지를 살펴보고자 한다. 얼굴 표정 데이터셋에서 시작된 전통적 접근, 장면과 관계를 읽는 문맥 모델, 음성·텍스트·영상이 결합된 멀티모달 구조, 그리고 최근의 대규모 사전학습 (pre-training) 및 생성형 AI와 연결되는 흐름까지 차례로 짚어볼 예정이다. 동시에 “감정을 잘 맞히는 모델”을 넘어, “감정을 얼마나 책임 있게 다루는 모델인가”라는 질문도 함께 던지고자 한다. 

감정을 읽는 기계는 결국 인간을 어떻게 상상하는 기계인가. 감성 알고리즘의 역사는 단지 더 높은 정확도의 경쟁이 아니라, 인간의 감정이 과연 측정될 수 있는가를 둘러싼 긴 사유의 역사이기도 하다. 이 글은 그 기술적 진보를 소개하는 데서 멈추지 않고, 감성 AI가 인간과 예술, 커뮤니케이션, 그리고 미래의 인터페이스를 어떻게 바꾸고 있는지까지 함께 바라보려 한다. 감정을 계산하는 기술의 시대에, 우리는 오히려 다시 질문해야 한다. 감정은 데이터가 되면 더 잘 이해되는가, 아니면 다른 방식으로 다시 낯설어지는가.

최근 인공지능, 특히 시각-언어 모델(Vision-Language Models, VLMs)이나 대형 언어 모델(Large Language Models, LLMs)은 객체를 인식하거나 질문을 이해하고 자연스럽게 답하는 일에 대해서는 이미 인간과 유사한 수준에 도달했다는 평가도 있다, 하지만 이러한 성능은 주로 “무엇이 보이는가” 또는 “문장이 무엇을 의미하는가”와 같은 일반적인 이해 능력에 기반한 것이다. 문제는, 이러한 모델이 문화적 맥락을 요구하는 질문에 대해서는 종종 부적절하거나 엇나간 답변을 생성하여 쉽게 실패한다는 점이다. 이는 단순한 오류라기보다, 인공지능이 학습한 세계 자체가 특정 문화에 편향되어 있기 때문이라는 지적이 이어지고 있다.

이러한 한계의 중요한 원인 중 하나는 데이터에 있다. 현재 인공지능 모델은 방대한 양의 이미지와 텍스트 데이터를 통해 학습되는데, 이 데이터는 특정 지역과 언어, 특히 서구권 중심으로 구성된 경우가 많다. 그 결과, 모델은 자연스럽게 그 문화에서 자주 등장하는 대상과 표현에는 강해지지만, 다른 문화에 대해서는 충분한 이해를 갖추지 못하게 된다. 다시 말해, 인공지능이 이해하는 “세계”는 실제 세계의 다양성을 온전히 반영하지 못한 채, 특정 방식으로 편집된 세계에 가깝다. 하지만 더 근본적인 문제는 이러한 한계가 그동안 충분히 드러나지 않았다는 점이다. 기존의 인공지능 평가 방식은 주로 객체 인식이나 문장 이해처럼 비교적 보편적인 과제에 초점을 맞추고 있었으며, 문화에 따라 해석이 달라질 수 있는 상황은 거의 고려하지 않았다. 따라서, 인공지능 모델이 문화적으로 부적절한 답변을 하더라도, 기존의 평가 기준에서는 높은 성능을 기록하는 일이 가능했다. 다시 말해, 문제는 존재했지만, 그것을 드러낼 수 있는 평가 틀이 부족했던 것이다.

이러한 인식 위에서, 최근 연구들은 데이터와 평가 방식을 함께 재구성하는 방향으로 나아가고 있다. 한편에서는 더 다양한 국가와 언어, 그리고 문화적 맥락을 포함하는 데이터셋을 구축하려는 시도가 이루어지고 있으며, 다른 한편에서는 문화적 맥락을 반영한 새로운 평가 방식을 설계하려는 노력이 이어지고 있다. 예를 들어, 동일한 질문이라도 문화에 따라 다른 해석이 가능하도록 문제를 구성하거나, 단순히 정답 여부가 아니라 해당 문화에서 얼마나 적절한 답변인지를 평가하는 방식이 제안되고 있다. 이는 인공지능 모델을 단순히 “더 많은 정보를 아는 시스템”으로 만드는 것이 아니라, 맥락에 따라 “다르게 이해할 수 있는 시스템”으로 확장하려는 시도라고 볼 수 있다. 나아가 일부 연구에서는 문화와 감성 이해를 단순한 정보의 문제가 아니라 규범과 가치의 문제로 확장하고 있다. 어떤 행동이 적절한지, 어떤 표현이 예의에 맞는지는 단순한 사실 지식만으로는 설명할 수 없으며, 사회적 맥락과 기대를 함께 고려해야 한다. 이러한 관점에서 보면, 문화와 감성 이해는 정답을 맞히는 문제가 아니라, 특정 상황에서 어떤 판단과 해석이 가능한지를 다루는 문제에 가깝다.

이 글은 이러한 흐름을 바탕으로, 인공지능이 문화와 감성을 어떻게 이해하고 있으며, 그 이해를 우리는 어떤 방식으로 드러내고 평가하고 있는지를 살펴보고자 한다. 특히 데이터의 구성과 평가 방식이 이 문제에서 어떤 역할을 하는지, 그리고 최근 연구들이 이 두 요소를 어떻게 재설계하고 있는지를 중심으로 소개한다. 이를 통해 인공지능의 “이해”라는 개념이 어디까지 확장될 수 있는지, 그리고 우리가 기대하는 이해란 무엇인지에 대해 생각해보고자 한다.