[EC2] AWS 리눅스에 filebeat 설치와 사용하는 방법

Filebeat 란

---

실시간 파일 내용을 수집하여 ElastiSearch 나 Logstash 등 다양한 Output 으로 전달하는 도구 입니다.

동시에 여러개 파일의 내용을 수집할 수 있으며 서버 자원을 거의 사용하지 않습니다.

 

대략적인 그림으로 아래와 같이 구성할 수 있습니다.

이 포스팅에서 logstash 와 ElasticSearch 에 대한 부분은 다루지 않습니다.

 

 

Filebeat 설치 및 구동 방법

---

Filebeat 설치방법

외부망으로 통신이 가능하다는 전제하에 진행할 수 있습니다.

ubuntu 환경은 설치방법이 dpkg 방식으로 아래와 다릅니다.

 

1. rpm 을 통해서 elasticsearch 패키지를 다운로드 받습니다.

2. repo 에 내용을 등록합니다.

3. filebeat 를 설치합니다.

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
 
cat >> /etc/yum.repos.d/elasticsearch.repo << EOF
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF
 
yum install filebeat

 

Filebeat 환경설정

filebeat.yml 파일에 아래와 같이 설정합니다.

 

 

7라인 paths 부분에 수집할 파일 경로를 입력합니다.

13라인 hosts 부분에 output 의 경로를 입력해 줍니다.

 

logging.metrics.enabled: false
 
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /root/scripts/test.log      - /root/scripts/test2.log
    fields: {log_type: test-log-type }
    fields_under_root: true
 
output.logstash:
  hosts: ["127.0.0.1:5045"]

 

filebeat 구동

service filebeat start

 

 

filebeat 에서 전달되는 내용 확인

---

output.logstash 를 output.text 로 잠시 변경하여 Filebeat 에서는 어떤 로그를 남기는지 확인해 보았습니다.

아는범위 내에서 작성하였습니다.

 

6라인 : 파일비트에서 수집된 timestamp

9라인 : 파일비트 버전

10라인 : 파일비트 인덱스 ( elasticsearch 에서는 이 값을 기반으로 분류작업을 할 수 있습니다. )

11라인 : 읽은 파일명

13라인 : 파일 offset 위치

16라인 : 수집한 서버 호스트 명

17라인 : 파일을 읽은 내용

# cat test.log
aaa
 
 
# cat test_filebeat.log 
{"@timestamp":"2021-01-23T15:06:19.855Z",
"@metadata":{"beat":"filebeat",
             "type":"doc",
             "version":"6.8.13"},
"log_type":"test-log-type",
"source":"/root/scripts/test.log",
"input":{"type":"log"},
"offset":0,
"prospector":{"type":"log"},
"beat":{"name":"psh","hostname":"psh","version":"6.8.13"},
"host":{"name":"psh"},
"log":{"file":{"path":"/root/scripts/test.log"}},"message":"aaa"}

 

 

 

 

 

 

Filebeat 설치

Filebeat 다운로드

Filebeat 실행방법

Filebeat 구동방법