[Kubernetes] EFK - Fluentd 란?

EFK Stack

 

EFK stack이란 Elasticsearch, Fluentd, Kibana를 얹은 스택이다.

 

기존의 ELK stack과의 차이는 로그 파이프라인 역할을 하던 Logstash를 Fluentd로 대체

 

Fluentd

 

Fluentd는 CNCF의 graduated project 중 하나다.

- 규모가 크고 레퍼런스가 많다.

 

Fluentd는 다양한 소스에서 로그를 수집해 중앙화할 수 있는 오픈소스 데이터 콜렉터다.

- 다양한 시스템에서 들어오는 여러 로그들을 fluentd 하나로 수집하고 파싱하고 포워딩한다.

 

기존의 시스템마다 제각각의 로깅 툴을 사용하고 각기 다른 저장 장소에 로그가

흩어져 있던 로깅 아키텍처들을 통합할 수 있다는 장점이 있다.

 

점점 복잡해지고 있는 MSA 환경에서 이러한 장점이 특히 빛을 발하게 된다.

- 독립적, 유동적인 마이크로 서비스들의 로그를 한 곳에 수집하고 가공하기 위해 fluentd와 같은 로깅 툴이 필요하다.

 

 

 

 

 

fluentd가 다양한 시스템의 로그를 수집할 수 있는 것은 fluentd가 제공하는 다양한 플러그인 덕분이다.

 

fluentd는 위 그림과 같이 이렇게 다기종의 시스템에서 받은 로그들을 파싱한 뒤

필요한 정보만 필터링하거나, 다른 목적지로 라우팅하거나, 원하는 정보로 가공 가능하다.

 

 

참고 : https://nangman14.tistory.com/68