• 본 포스팅은 2023년 05월 30일을 기준으로 작성되었습니다.

ChatGPT가 주목을 받는 이유가 무엇일까요?  

우리는 포털사이트에서 검색을 해도 충분한 답을 얻을 수 있는데, ChatGPT가 지금처럼 주목 받는 이유는 지능형 질의 응답이 가능하기 때문이라고 생각합니다. 

검색을 할 때 우리는 어떤 키워드로 검색을 해야 원하는 결과를 정확하게 얻을 수 있는지 이미 학습되어 있습니다. 

예를 들어, "점심 뭐먹지?" 라고 질의하고 싶다면, "맛집", "추천" 등의 키워드를 포함하여 검색합니다. 

이러한 방법이 우리가 지난 수년 간 포털을 사용하며 배운 키워드 중심 검색 방법입니다. 

반면 ChatGPT에게 질의를 할때에는 별다른 가공을 하지 않고 "점심 뭐먹지?"라고 질문을 합니다. 

이처럼 기존 방식에서 탈피해 새로운 기술 트렌드로 자리잡은 지능형 질의(검색)의 구조에 대해 좀 더 알아보겠습니다.

물론 일반 키워드 검색으로도 지능형 검색인 것처럼 보이게 검색 기능을 구현할 수는 있습니다. 

동의어 사전, 사용자 정의 사전을 만들어서 비슷한 뜻의 단어들을 전부 테스트 파일로 만들어 주면 됩니다. 

하지만 사람이 하나하나 한땀 한땀 준비하고 수정하고 관리하고.. 이 역시도 한계가 있습니다.

doc1 : "나는 사과를 먹고 싶어"

doc2 : "나는 사과를 받고 싶어"

"먹는 사과"를 검색하면 동의어 사전은 사과(apple)와 사과(apologize)를 구분하지 못하고 두 문서를 모두 반환하게 됩니다.

"먹는 사과"를 검색했을 때, doc1만 응답해주는 것이 바로 지능형 질의며, 지능형 질의를 가능하게하는 것이 바로 Vector Search입니다. 

아래 예를 통해 일반 키워드 검색과, Vector 검색의 차이를 좀 더 알아보겠습니다.

Q: 최근 가장 더운 지역이 어디야?

키워드가 없어도 Vector Search로 가장 유사한 내용의 데이터를 잘 보여줍니다.

사실 Elastic의 Vector Search 기능이 나온지는 좀 됐지만 성능이 느리고 인덱스 용량이 커져 쓰지 못하는 기능이기도 했습니다. 

하지만 Chat GPT 가 나오면서 유저들은 검색 성능(심리적 허용선 1초 이내)에 대해 관대해졌습니다. 

빠르게 결과가 나오는 것도 중요하지만 내가 원하는 데이터를 정리해서 보여준다면 몇 분이라도 기다릴 수 있는 인내심이 생겼습니다. 

이처럼 Chat GPT 가 출현하면서 외면 받아오던 Vector Field 의 중요성이 대두 되고 있으며, 이를 대응하기 위해 다양한 Vector DB 가 출시되고 있습니

다. (AWS 아키텍쳐에서는 Opensearch를 Vector DB라고 표현하고 있습니다.)

아직까지는 검증되지 않은 Vector DB를 사용하기 보다는 우리에게 친숙한 Elasticsearch를 활용하면서 Chat GPT의 활용 범위를 넓혀가는게 

어떨까 합니다.