[빅데이터 인프라] Kafka on Mesos broker 다루기 - kafkacat 포함

해당 포스팅을 보기 전에 

Kafka on mesos를 설치하고

https://league-cat.tistory.com/280

Kafkacat을 설치하기 바란다.

본인의 컴이 ubuntu 계열이면 kafkacat을 

$apt-get install kafkacat으로 설치 바란다.

centos 계열이면 아래의 링크를 참조바란다.

https://league-cat.tistory.com/292?category=721534

Kafkacat을 이용한 테스트

 

broker end point 는 

$./kafka-mesos.sh broker list

를 하여  해당하는 broker의 end point ip를 가져오면 된다.

~/kafka/에 들어가 준다. (맨위의 링크 참조)

0 broker에 "test"를 넣어줌

$echo "test" | kafkacat -P -b "{broker end point ip}" -t testTopic -p 0

 

0 broker를 읽음

$kafkacat -C -b "{broker end point ip}" -t testTopic -p 0 -e

 

"test"가 출력된다.

해당 명령어를 통해 1, 2 브로커를 추가

$./kafka-mesos.sh broker add 1..2 --heap 1024 --mem 2048

 

$./kafka-mesos.sh broker list

 

brokers:

  id: 0

  active: true

  state: running (modified, needs restart)

  resources: cpus:1.00, mem:2048, heap:1024, port:auto

  jvm-options:

  ...

 

  id: 1

  active: false

  state: stopped

  resources: cpus:1.00, mem:2048, heap:1024, port:auto

  ...

 

  id: 2

  active: false

  state: stopped

  resources: cpus:1.00, mem:2048, heap:1024, port:auto

  ...

 

Kafka broker 시작

$./kafka-mesos.sh broker start 1..2

 

brokers started:

  id: 1

  active: true

  state: running

  resources: cpus:1.00, mem:2048, heap:1024, port:auto

  ...

 

  id: 2

  active: true

  state: running

  resources: cpus:1.00, mem:2048, heap:1024, port:auto

  jvm-options:

  ...

 

Kafka log 관리

 

해당 명령어를 통하여 100줄의 log를 가져올 수 있다.

$./kafka-mesos.sh broker log 0

 

해당 명령어로 0브로커 에러 확인 가능한듯?

$./kafka-mesos.sh broker log 0 --name stderr

 

Server.log를 읽고 싶다면 다음 명령어를 실행

$./kafka-mesos.sh broker log 0 --name server.log

 

200줄까지 보고 싶다면 다음 명령어 실행

$./kafka-mesos.sh broker log 0 --name server.log --lines 200

 

추가적인 가이드

 

해당 명령어를 통하여 broker add에 대한 도움말을 볼 수 있음

./kafka-mesos.sh help broker add

 

해당 명령어를 통하여 broker start에 대한 도움말을 볼 수 있음

./kafka-mesos.sh help broker start

 

해당 명령어를 통하여 topic list 확인 가능

./kafka-mesos.sh topic list

topics:

  name: cart-event

  partitions: 0:[0]

 

  name: impression-event

  partitions: 0:[0]

 

  name: item-view-event

  partitions: 0:[0]

 

  name: order-event

  partitions: 0:[0]

 

  name: relevance-event

  partitions: 0:[0]

 

  name: testTopic

  partitions: 0:[0]