Embedded Files
본 포스팅은 2022년 01월 01일을 기준으로 작성되었습니다.
Fleet
Fleet
환경설정
환경설정
Step 1
Cloud로그인 후 해당 Deployment 우측의 Quick link 버튼을 클릭하여 설정 화면으로 이동합니다.
Step 2
아래 쪽에 Integratons Sever부분이 활성화 되어 있지 않다면, Add capacity를 클릭해서 추가해 줍니다.
Step 3
적당한 사이즈를 설정하고 화면 가장 하단으로 이동하여 Save버튼을 클릭합니다.
설치
설치
Step 1
메뉴①에서 Integrations② > Custom③ > Custom Logs④를 클릭합니다.
Step 2
Add Custom Logs를 클릭합니다.
Step 3
Integration name:
Log file path: 로컬 파일의 위치를 설정합니다. (절대경로, 파일지정)
Advanced options에서 Dataset name을 설정해 줍니다.
New agent policy name:
Step 4
Add Elastic Agent to your hosts 를 클릭합니다.
Step 5
2번의 Go to download page로 이동하여 알맞는 시스템 환경의 Agent를 선택하여 다운받습니다. (저희는 WINDOWS 64-BIT 를 다운받아 설치하는 환경을 설명드립니다.)
Step 6
명령 프롬프트를 관리자권한으로 실행합니다.
① 전 단계에서 다운받은 (압축해제 한)폴더 위치로 이동합니다.
(Ex. cd C:\ELK\elastic-agent-8.1.0-windows-x86_64 )
② Add agent 화면의 3번 코드(알맞는 OS선택)를 복사해서 붙여 넣습니다.
③ Y 입력하여 설치를 시작 합니다.
Step 7
Add agent페이지의 가장 하단(4번)의 View assets을 클릭합니다.
Step 8
데이터 확인 작업
메뉴 > Stack Management
Index Mangement
Data Streams 탭 클릭
Step3에서 입력했던 Dataset name을 검색하여 데이터가 잘 들어왔는지 확인해줍니다.
Filebeat
Filebeat
Filebeat 경량의 로그 수집기로 지정한 파일 혹은 디렉토리를 지속적으로 모니터링하여 Logstash 혹은 Elasticsearch로 수집한 데이터를 전달합니다.
Filebeat의 작동원리
Filebeat의 작동원리
Filebeat을 실행하면 사용자가 지정한 수집위치에 대해 하나 이상의 input이 시작됩니다. 선택된 파일마다 harvester가 실행되고 각 harvester는 새로운 데이터를 읽어 libbeat로 보냅니다. libbeat는 데이터를 종합하고 종합한 데이터를 Filebeat에서 설정한 output으로 전송합니다.
https://www.elastic.co/guide/en/beats/filebeat/current/how-filebeat-works.html
Filebeat 설치
Filebeat 설치
Step 1
운영환경에 맞게 선택하고 Elasticsearch 혹은 Logstash의 버전과 같은 버전을 선택하면 됩니다. 최신버전이 아닐 경우 “View past releases”에서 다른 버전을 다운받을 수 있습니다.
예제는 Window ZIP x86_64를 다운받았습니다.
Filebeat 다운로드 링크: https://www.elastic.co/kr/downloads/beats/filebeat
Step 2
Filebeat의 대부분 설정값은 Filebeat이 설치된 디렉토리 내 filebeat.yml에서 정의할 수 있습니다.
filebeat.yml 파일을 열어 줍니다.
filebeat.yml의 상세 설정은 filbeat.reference.yml을 참고하면 도움이 됩니다.
Step 3
① input 데이터 종류 선택 ex) filesystem, Kafka, Redis …
* 8.0 이전 버전에서는 주로 log input을 사용했으나 deprecated되면서 filesystem input로 대체되었습니다.
② 해당 input을 사용할 것인지 선택 (true, false로 on/off 가능)
③ 데이터 수집위치 지정
* 여러 디렉토리를 지정할 수 있고 정규표현식 문법을 따름
* 윈도우 같은 경우 경로에 공백이 들어 갈 수 있어 문자열 전후에 큰따옴표로 처리해주고 \(역슬래시)는 앞에 \를 붙여 escape처리
④ 인덱스 이름 설정
그 외 옵션 :
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-filestream.html 참고
Step 4
① Output 대상은 output.{output_name}와 같은 형식으로 정의하고, output은 하나만 사용해야 합니다.
https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.html
② Output의 호스트 입력
* 여러 호스트를 배열방식으로 정의 가능
* 만약 output이 Elastic Cloud일 경우 cloud.id와 cloud.auth로 정의 가능
https://www.elastic.co/guide/en/beats/filebeat/current/configure-cloud-id.html
③ Elasticsearch 계정과 비밀번호 입력
④ Processor 설정
Filebeat은 수집기이지만 간단한 전처리도 지원합니다. Processor를 통해 필드를 추가하거나 제거하거나 디코딩할 수 있습니다.
https://www.elastic.co/guide/en/beats/filebeat/current/filtering-and-enhancing-data.html
Step 5
Filebeat이 설치된 폴더로 이동 후 Filebeat을 실행시켜 줍니다.
.\filebeat.exe -e
Filebeat이 설치된 폴더로 이동 후 Filebeat을 실행시켜 줍니다.
Step 6
데이터 확인 작업
메뉴 > Stack Management
Index Mangement
Indices 탭 클릭
Step3④에서 입력했던 index name을 검색하여 데이터가 잘 들어왔는지 확인해줍니다.
출처, 참고 문서
출처, 참고 문서
Elastic 공식 문서 | https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.html
Elastic 공식 문서 | https://www.elastic.co/guide/en/beats/filebeat/current/configure-cloud-id.html
Elastic 공식 문서 | https://www.elastic.co/guide/en/beats/filebeat/current/filtering-and-enhancing-data.html
Elastic 공식 문서 | https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-filestream.html
Elastic 공식 문서 | https://www.elastic.co/kr/beats/filebeat
#위앤유텍 #wenyoutech #we-tech #엘라스틱 #Elastic #observability #o11y #monitoring #모니터링 #클라우드모니터링
@younabiya
Page updated
Report abuse