데이터 구조

• 본 포스팅은 2024년 04월 25일을 기준으로 작성되었습니다.

Inverted_Index 구조

<관계형 데이터 베이스>

위와 같은 RDBM 데이터가 있습니다. 여기서 "fox"라는 단어를 검색한다고 가정합니다.

검색 결과 "fox"가 들어간 doc을 제외한 나머지 doc는 제외됩니다. 그러나 이러한 검색 과정에서 각각의 doc를 하나하나 전부 읽으며 "fox"가 포함되어 있는지 확인하기 때문에 기본적으로 속도가 느립니다.

Elasticsearch는 완전히 다른 구조의 데이터로 이러한 문제를 해결합니다.

<역인덱스(Inverted_Index)구조>

위는 Elasticserach의 역인덱스 구조로 동일한 데이터를 저장한 것입니다.

각 Text를 Term으로 쪼갠 후 각 Term마다 어떤 doc에 포함되는지 배열(array)로 나타내었습니다. (Elasticsearch에서는 이렇게 tokenizing되어 추출된 키워드를 "Term"이라고 부릅니다.)

이러한 구조는 기존의 RDBM 구조처럼 각 행 안의 Text 안에 "fox"의 포함 여부를 일일이 체크할 필요가 없습니다. 대신, 검색한 값과 매칭되는 Term만 빠르게 찾은 다음, 그 Term을 포함하고 있는 doc의 배열을 그대로 가져오기만 하면 됩니다.

그 결과 기존의 RDBM과 비교하면 훨씬 빠른 검색 속도를 보여줍니다.

이런 역 인덱스 구조를 데이터가 저장되는 과정에서 만들기 때문에 Elasticsearch는 데이터를 입력할 때 저장이 아닌 색인(indexing)을 한다고 표현합니다. 

대부분의 필드는 기본적으로 인덱싱되어 있어 검색이 가능합니다.

앞에서 설명한 역인덱스(inverted_index) 구조를 사용하면, 쿼리를 통해 검색어를 고유한 정렬된 키워드(TERM) 목록에서 검색할 수 있으며, 해당 검색어가 포함된 document를 즉시 불러올 수 있습니다.

doc_value

_source

기본적으로 별다른 설정 없이 검색 결과로 나온 json 형식의 검색 결과는 모두 _source 안에 압축되어 반환됩니다.

_source 필드는 script에서 ctx._source.field_name 형태로 접근 가능합니다.

<Including / Excluding>

_source vs doc_value

_source 필드에 접근하는 것은 doc_values를 사용하는 것보다 훨씬 느립니다.

_source 필드는 결과 당 여러 개의 필드를 반환하는데 최적화된 반면, doc_values는 많은 document 중에서 특정 필드 값에 접근하는데 최적화되어 있습니다.

예를 들어, 검색 결과에서 상위 10개의 hits를 반환하는 것에 대한 script를 작성할 때는 ctx._source.field_name를 사용하는 것이 좋지만, 그 외 다른 검색 및 aggregation을 수행할 때는 doc['field_name'].value를 사용하는 것이 좋습니다.

fielddata