리그캣의 개발놀이터

현재 운영하는 시스템을 보면 하기와 같이 되어있다. log txt producer(ex. filebeat) -> message Q(kafka) -> consumer (ex. fluentd) -> es 자중 발생하는 문제가 있는데 kafka의 lag이 쌓인다는 것이다. 카프카 lag은 카프카 운영에 있어서 중요한 모니터링 지표인데, 카프카 파티션에 데이터가 하나씩 들어가면서 각 데이터에 오프셋이라는 숫자가 붙는다. 즉 데이터 하나가 파티션에 인입되면 0 그다음 데이터가 인입되면 1 ..2...3.. 이렇게 오프셋이 붙기 시작한다. 참고 : https://strimzi.io/blog/2021/01/07/consumer-tuning/ 이 오프셋을 참고해서 producer kafka consumer 사이의 데이..