Fluentd

회사 게임 오픈에 대비해서 서버 개수를 늘리기로 함.

• 기존 서버 8대(프론트, 백엔드) ⇒ 20대로 증설

• 실제 장애 발생 시 로그 분석이 어려워 로그 수집 및 분석기를 검색

• 목적 : 다목적으로 서버 로그 및 애플리케이션 로그까지 저장가능해야함.

• 조건 :

  • 무료

  • 가벼움

  • 호환성(여러 분석기와 호환이 되어야함.)

• 제한 조건

  • Azure LogAnalytics 를 사용해야함.

• Fluentd 외 찾은 수집기 목록

  • Logstash

  • Promtail(Loki)

Logstash 단점

ELK 의 일부로 ELK 까지 세팅한다면 좋은 로그 수집 및 분석이 가능하지만 ElasticSearch 보다 현재 주어진 자원은 Azure 의 Loganalytics 를 사용한다는 점에 있어서 가벼운 로그 수집기가 필요

• Logstash 는 JVM 기반이여서 메모리 사용량이 컸음. (최소 설정 1 ~ 2GB RAM 필요)

• Fluentd 는 C,Ruby 기반으로 가벼운 실행이 가능했음 (적은 메모리에서도 가능)

• 부하가 크면 성능이 떨어짐.

  • 대량의 이벤트를 처리할 때 성능 저하가 발생함.

    • 실제 CPU 및 RAM 이 90% 까지 올라갔음.

• 다양한 플러그인 존재하지 않음.

  • Fluentd 는 elasticsearch, Kafka, AWS S3, Prometheus 등 다양한 플러그인 제공함.

Loki 단점

• JSON & 구조화된 로그 변환 기능이 부족함.

• 검색 기능이 제한적임.

  • Loki 는 메타데이터(tag) 기반 검색만 가능함.

• 결정적으로 Loki 는 시스템 & 애플리케이션 로그 저장 에 최적화되어 있음.

---