Dimension은 필드의 이름과 값을 조합하여 document의 time series를 식별하는 것입니다. 대부분의 경우 dimension은 현재 측정하고 있는 개체의 일부 측면을 설명합니다. 예시로, 동일한 날씨 감지 센서에 대한 document는 항상 동일한 sensor_id와 location 값을 가지고 있습니다.

TSDS의 document는 Time Series와 timestamp로 고유하게 식별되며, 그 두 가지 값을 _id를 생성하는데 사용합니다. 따라서, 동일한 dimension과 timestamp를 가지고 있는 두 document는 중복인 것으로 판별됩니다. _bulk를 통해 앞서 말한 두 document를 추가한다면 두 번째 document가 첫 번째를 덮어쓰게 됩니다. 

Dimension은 Mapping 단계에서 Boolean 파라미터인 time_series_dimension을 사용하여 지정합니다.
다음 타입들이 time_series_dimension 파라미터를 지원합니다.

• keyword

• ip

• byte

• short

• integer

• long

• unsigned_long

Metric은 숫자 측정 값과 해당 측정 값을 기반으로 한 집계, 다운샘플링 값을 포함하는 필드입니다. 필수는 아니지만, 대체로 TSDS의 document에는 하나 이상의 Metric 필드가 존재합니다.

일반적으로 Dimension은 일정하게 유지되지만 Metric은 드물거나 느리게라도 시간이 지남에 따라서 변경될 것으로 예상된다는 점에서 Dimension과 차이가 있습니다. 

Metric은 Mapping 단계에서 time_series_metric 파라미터를 사용하여 지정합니다.
다음 타입들이 time_series_metric 파라미터를 지원합니다.

• aggregate_metric_double

• histogram

• 모든 숫자 필드 타입

time_series_metrics 파라미터의 설정값들은 다음과 같습니다.

• counter: 계속해서 증가만 하거나 0으로 리셋되는 값들. 비율 집계에 주로 사용

• gauge: 임의로 증가하거나 감소하는 값들. 숫자 필드 타입

TSDS에 document를 넣을 때, Elasticsearch는 자동으로 _tsid 메타데이터 필드를 생성합니다.
_tsid는 document의 dimension을 포함하고 있는 오브젝트 입니다. 한 TSDS에 동일한 _tsid가 있는 document는 동일한 time series의 일부입니다.

_tsid는 검색, 업데이트가 불가능합니다. GET 명령을 통해서 문서를 불러오는 것도 불가능합니다. 하지만 집계, fields 파라미터를 이용해 검색 결과값을 가지고 오는 것은 가능합니다.

TSDS의 각 Backing 인덱스 내에서 Elasticsearch는 index.routing_path 인덱스 설정을 통해 동일한 dimension의 document를 동일한 샤드로 라우팅합니다.

TSDS의 인덱스 템플릿을 만들 때 index.routing_path 설정에서 하나 이상의 dimension을 지정해야 합니다. TSDS의 각 document는 index.routing_path 설정에 있는 dimension을 하나 이상 포함하고 있어야 합니다.

index.routing_path 에서 설정한 dimension은 keyword 타입의 필드여야 합니다. index.routing_path 설정은 와일드카드 패턴을 지원하여 새로운 필드와 동적으로 일치시킬 수 있습니다. 하지만 Elasticsearch는 index.routing_path 값과 일치하는 scripted, runtime, non-dimension, non-keyword 인 필드들은 Reject 됩니다.

TSDS의 document, mapping은 커스텀 _routing 값을 지원하지 않습니다. 

Elasticsearch는 압축 알고리즘을 사용해 반복되는 값을 압축합니다. 압축 알고리즘은 반복되는 값이 동일한 인덱스, 동일한 샤드, 동일한 샤드 세그먼트에 나란히 저장되어 있을 때 가장 효율적으로 작동합니다. 

대부분의 Time Series 데이터는 반복되는 값을 가지고 있습니다. Dimension은 동일한 Time Series의 document에서 반복됩니다. Metric 값은 시간에 따라서 변화할 수 있습니다.

내부적으로 각 TSDS Backing 인덱스는 인덱스 정렬을 사용해 _tsid와 @timestamp를 기준으로 샤드 세그먼트의 순서를 지정합니다. 이렇게 하면 더 효율적인 압축을 위해 반복되는 값이 가까이 저장될 수 있게 됩니다. 

효율적인 인덱스 정렬 후 압축을 위해서 TSDS는 index.sort.* 설정을 지원하지 않습니다.

• Data Stream과 TSDS의 기능들에 대해 익숙해야 합니다.

• 다음과 같은 권한이 필요합니다.

  • Cluster privileges: manage_ilm, manage_index_templates

  • Index privileges: create_doc, create_index (rollover를 위해서는 manage도 필요) 

선택 사항이지만, ILM을 사용하여 TSDS의 Backing 인덱스 관리를 하는 것을 권장합니다.
ILM을 사용하기 위해 Index Lifecycle Policy를 생성해야 합니다.

Policy에서 Rollover 액션에 대한 max_age 기준을 설정하는 것이 좋습니다. 설정하게 되면 TSDS Backing Index의 @timestamp 범위가 일관되게 유지됩니다. 예를 들어, max_age를 1d로 설정하면 Backing Index에 하루 분량의 데이터가 일관적으로 보관됩니다. 

TSDS는 인덱스 템플릿이 필요합니다. 대부분의 경우, 하나 이상의 컴포넌트 템플릿을 사용하여 인덱스 템플릿을 작성합니다. 일반적으로 매핑, 세팅을 각각의 컴포넌트 템플릿으로 생성합니다. 그 방식으로 설정하면 한번 생성한 컴포넌트 템플릿을 다른 인덱스 템플릿들을 만들 때에 재사용이 가능합니다.

TSDS를 위한 매핑에 반드시 필요한 설정:

• 하나 이상의 dimension 필드 설정.
  time_series_dimension 값을 true로.
  하나 이상의 dimension은 일반 keyword 필드여야 함.

TSDS를 위한 매핑에 선택적으로 포함하는 설정:

• 하나 이상의 metric 필드 설정.
  time_series_metric 파라미터를 설정

• @timestamp 필드에 date나 date_nanos 타입 매핑.
  미설정시 date 기본 옵션으로 설정.

TSDS를 위한 세팅에 선택적으로 포함하는 설정:

• 생성한 Lifecycle Policy를 index.lifecycle.name으로 설정

• TSDS의 Backing 인덱스에 대한 기본적인 인덱스 세팅

생성한 컴포넌트 템플릿들을 사용해서 인덱스 템플릿을 설정합니다.

• 하나 이상의 TSDS의 이름과 매칭되는 인덱스 패턴. Data Stream Naming Scheme 참고.

• Data Stream 활성화

• index.mode 값에 time_series 설정

• (선택) index.routing.path 인덱스 세팅. 세팅 값은 일반 keyword 타입의 dimension 필드와만 일치해야 함.
  정의하지 않은 경우 time_series_dimension이 true로 설정된 모든 매핑을 사용하여 생성됨.

• 생성한 컴포넌트 템플릿 적용

• 200 이상의 priority 부여로 built-in 템플릿들과의 충돌 방지

인덱싱 Request를 통해 TSDS에 document를 추가합니다. 

TSDS document에 들어가야 하는 것:

• @timestamp 필드

• 하나 이상의 dimension 필드.
  최소한 하나의 dimension은 index.routing_path 설정에 맞는 keyword 필드여야 함.
  index.routing_path를 설정하지 않았다면 time_series_dimension이 true로 설정된 필드들이 자동으로 설정됨.

TSDS를 자동으로 만드려면 TSDS의 이름을 대상으로 하는 인덱싱 Request를 입력하여 document를 추가합니다. 

인덱스 Privileges를 사용해 TSDS의 권한을 관리할 수 있습니다. TSDS에 권한을 부여하면 Backing 인덱스들에도 동일한 권한이 부여됩니다.

Data stream privileges를 참고해 Data Stream과 동일한 방법으로 설정할 수 있습니다.

위의 방법들을 따라 이미 존재하는 일반 Data Stream을 TSDS로 변환할 수 있습니다. 

• 새로운 Index Lifecycle Policy, 컴포넌트 템플릿, 인덱스 템플릿을 생성하는 대신 현재 Data Stream에서 사용중인 내용을 수정

• TSDS 생성 단계 대신 Data Stream을 수동으로 Rollover.
  Rollover시 현재 Write 인덱스와 앞으로 생성될 모든 Backing 인덱스들의 index.mode가 time_series로 설정됨.