Dimension은 필드의 이름과 값을 조합하여 document의 time series를 식별하는 것입니다.

여러 대의 서버를 모니터링하고 있다고 가정합니다. 각 서버에는 CPU 사용률, 메모리 사용량, 디스크 사용량 등의 다양한 메트릭이 있습니다. 이때 호스트명(host), 서버 유형(type=web, db 등), 데이터 센터 위치(dc=seoul, tokyo 등) 등을 key-value 쌍으로 각각을 하나의 차원으로 지정하면 각 데이터 포인트가 어떤 서버, 서버 유형, 데이터 센터에서 수집되었는지 구분할 수 있습니다.

메트릭 이름이 "cpu_usage"라고 가정해봅시다. 그렇다면 전체 데이터 포인트는 아래와 같은 형태가 될 것입니다

cpu_usage{host=web01, type=web, dc=seoul} 80

cpu_usage{host=db02, type=db, dc=tokyo} 60

이렇게 차원을 통해 동일한 메트릭 이름 아래에서도 데이터를 세분화하여 저장하고 필터링, 집계할 수 있습니다. 이와 같이 데이터를 세분화 및 구분해주는 호스트명, 서버 유형, 데이터센터 위치 등의 필드를 “dimention field”라고 합니다. TSDS는 최소 1개 이상의 dimention field를 포함해야 합니다.

Dimension은 Mapping 단계에서 Boolean 파라미터인 time_series_dimension을 사용하여 지정합니다. 다음 타입들이 time_series_dimension 파라미터를 지원합니다. 

• • • keyword

    • ip

    • byte

    • short

    • integer

    • long

    • unsigned_long

TSDS에 document를 추가하면, Elasticsearch는 자동으로 _tsid metadata field를 생성합니다.

_tsid 필드는 document의 dimension을 포함하고 있습니다. 동일한 _tsid 필드를 가진 동일한 TSDS의 document는 동일한 time series의 일부입니다.

TSDS의 index template를 만들 때 index.routing_path 설정에서 최소 1개 이상의 dimention을 지정해줘야 합니다.

즉, TSDS의 각 document는 index.routing_path 설정에 있는 dimention을 1개 이상 포함하게 됩니다.

또한, 1개 이상의 dimention필드는 keyword타입이어야 합니다. (index.routing_path 설정은 와일드카드 패턴을 지원하기에 keyword타입인 필드와 동적으로 일치시킬 수 있습니다. 하지만, scripted, runtime, non-dimension, non-keyword 인 필드들은 Reject 됩니다.)

TSDS의 document, mapping은 커스텀 _routing 값을 지원하지 않습니다.

Elasticsearch는 압축 알고리즘을 사용해 반복되는 값을 압축합니다. 압축 알고리즘은 반복되는 값이 동일한 인덱스, 동일한 샤드, 동일한 샤드 세그먼트에 나란히 저장되어 있을 때 가장 효율적으로 작동합니다. 

대부분의 Time Series 데이터는 반복되는 값을 가지고 있습니다. Dimension은 동일한 Time Series의 document에서 반복됩니다. Metric 값은 시간에 따라서 변화할 수 있습니다.

내부적으로 각 TSDS Backing 인덱스는 인덱스 정렬을 사용해 _tsid와 @timestamp를 기준으로 샤드 세그먼트의 순서를 지정합니다. 이렇게 하면 더 효율적인 압축을 위해 반복되는 값이 가까이 저장될 수 있게 됩니다. 

효율적인 인덱스 정렬 후 압축을 위해서 TSDS는 index.sort.* 설정을 지원하지 않습니다.

다음과 같은 권한이 필요합니다.

• • Cluster privileges: manage_ilm, manage_index_templates

  • Index privileges: create_doc, create_index(rollover를 위해서는 manage도 필요) 

TSDS는 인덱스 템플릿이 필요합니다.

일반적으로 mapping과 index setting을 각각의 component template로 생성합니다. 그렇게 하면, 한번 생성한 component template를 다른 별개의 index template를 만들 때에 재사용이 가능합니다.

위에서 생성한 component template들로 index template를 설정합니다. 

• 인덱스 Privileges를 사용해 TSDS의 권한을 관리할 수 있습니다. TSDS에 권한을 부여하면 Backing 인덱스들에도 동일한 권한이 부여됩니다.

• Data stream privileges를 참고해 Data Stream과 동일한 방법으로 설정할 수 있습니다.

위의 방법들을 따라 이미 존재하는 일반 Data Stream을 TSDS로 변환할 수 있습니다. 

• • • 새로운 Index Lifecycle Policy, 컴포넌트 템플릿, 인덱스 템플릿을 생성하는 대신 현재 Data Stream에서 사용중인 내용을 수정

    • TSDS 생성 단계 대신 Data Stream을 수동으로 Rollover.
      Rollover시 현재 Write 인덱스와 앞으로 생성될 모든 Backing 인덱스들의 index.mode가 time_series로 설정됨.