리그캣의 개발놀이터

현재 운영하는 시스템을 보면 하기와 같이 되어있다. log txt producer(ex. filebeat) -> message Q(kafka) -> consumer (ex. fluentd) -> es 자중 발생하는 문제가 있는데 kafka의 lag이 쌓인다는 것이다. 카프카 lag은 카프카 운영에 있어서 중요한 모니터링 지표인데, 카프카 파티션에 데이터가 하나씩 들어가면서 각 데이터에 오프셋이라는 숫자가 붙는다. 즉 데이터 하나가 파티션에 인입되면 0 그다음 데이터가 인입되면 1 ..2...3.. 이렇게 오프셋이 붙기 시작한다. 참고 : https://strimzi.io/blog/2021/01/07/consumer-tuning/ 이 오프셋을 참고해서 producer kafka consumer 사이의 데이..

도커 컨테이너 라이프사이클에 대해서 알아봐야겠다. Docker Container 생성시의 상태는 아래의 값을 따른다. Created : 생성되었지만 컨테이너는 시작하지 않은 상태 (컨테이너를 구동할 수 있는 준비상태를 만드는 단계) Running : 컨테이너상 프로세스와 함께 컨테이너를 실행하는 상태 Paused : 프로세스가 일시 중지된 컨테이너 상태 Stopped : 컨테이너가 중지된 상태 Deleted : 중지되어있는 컨테이너가 삭제된 상태 화살표에 표시된것은 docker의 명령어이고, 해당 명령어를 통해 변화되는 컨테이너 상태를 동그라미로 표현했다. 내가 Container Lifecycle에 대해서 궁금증을 갖은 이유는 하기 문제를 풀게되면서 부터이다. testdome이라는 사이트인데, DevOp..

부끄럽지만 회사 이직 후 사내 적응기간을 핑계로 제대로 된 공부를 하지 못하였다.(1년이 다되가지만..;) 하나씩 공부해보고 기록해보고자 한다. 오늘은 docker image directory를 분석해보자 os : centos7 Docker Engine - Community Engine: Version: 20.10.5 먼저 docker home 의 위치는 하기와 같다. /var/lib/docker 해당 위치는 하기의 명령어로 확인이 가능하다. (docker home path 확인하기) $ docker info | grep "Docker Root Dir" > Docker Root Dir: /var/lib/docker systemctl 등의 systemd를 관리하는 툴을 이용하면 loaded되는 servic..

./a/b/c/test.sh에 #!/bin/bash pwd라고 선언해주고 ./a/ path에서 해당 test.sh 를실행하면 pwd결과가 ./a/나오더라... 나는 실행 스크립트 파일의 위치를 알고싶은건데 어떻게 할 수 있을까?? DIR="$( cd "$( dirname "$0" )" && pwd -P )" echo $DIR위와 같이 입력하면 된다.

쿠버네티스 인터넷을 끊기전에 설치해야할 리스트를 다운받아 놓아야 한다. kubeadm init 에서도 image 설치를 필요로 하기에 아래에서 다운받아 놓으면 된다. kubeadm, kubelet, kubectl 설치 (all node) $sudo apt-get install -y apt-transport-https curl $curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add $cat

해당 pod 가 작동하는 node에서 kubelet 에러를 확인하면 좀 더 자세히 알 수 있다 ``` $ journalctl -f -u kubelet.service ```

해당 문제 해결 방법 kubelet log 중 아래와 같은 로그가 찍혔다.. orphaned pod "b8a5865c-99b6-4e8c-8adc-ff2962ddb2b1" found, but volume paths are still present on disk : There were a total of 1 errors similar to this. Turn up verbosity to see them.말하자면 b8a5865c-99b6-4e8c-8adc-ff2962ddb2b1 파드에 대한 볼륨이 남아있다 ? 라는 것 같은데 해당 pods에 대한 정보를 찾을 수 없었다.. $ kubectl get pods | grep b8a5865c-99b6-4e8c-8adc-ff2962ddb2b1나오지 않았고 path를 확..

install ubuntu 이전 도커 버전 삭제 $ sudo apt-get remove docker docker-engine docker.io 필요 패키지 설치 $ sudo apt-get update && sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common 패키지 저장소 추가 $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -$ sudo add-apt-repository \ "deb [arch=amd64] https://download.docker.com/linux/ubuntu \ $(lsb_re..