리그캣의 개발놀이터

Kafkacat 설치 c++ compiler 설치 $yum install gcc-c++ $ git clone https://github.com/edenhill/librdkafka $ cd librdkafka $ ./configure $ make $ sudo make install /usr/local/lib 로 이동해주어 다음 명령어 실행한다. $ git clone https://github.com/edenhill/kafkacat $ cd kafkacat $ ./configure $ make $ sudo make install Lib 파일을 찾을 수 없다면 $ ldd kafkacat 다음의 파일을 만들고 아래를 추가 /etc/ld.so.conf.d/usrlocal.conf Contents: /usr/loc..

먼저 앞의 선행 내용을 보고 설치하기 바란다 https://league-cat.tistory.com/288 그리고 또한 모든 내용은 다음을 참고 하였다https://streamsets.com/tutorials/ Tutorial Overview 하단 자습서는 Pipeline을 만들고 실행하는 과정을 나타낸다. 샘플 데이터를 다운로드하여 데이터 미리보기를 수행하고 완료된 Pipe line을 실행하여 결과를 모니터링 할 수 있다. tutorial은 기본버전과 확장버전이 있으며, 기본버전을 사용하면 로컬 파일 시스템에서 데이터를 읽고 쓸 수 있으며 샘플 데이터를 쉽게 사용 가능하다. 확장 버전은 데이터를 조작하는 방법을 알려준다. Trash는 대상 시스템에 쓰지 않고 Pipeline을 테스트하는데 사용한다. 샘..

마라톤 위에 스트림셋 설치하기 Marathon 웹페이지 접속 -> new application -> json mode 코드입력 { "id": "streamsets", "cpus": 2, "mem": 2048, "disk": 10240, "instances": 1, "container": { "type": "DOCKER", "docker": { "image": "streamsets/datacollector:latest", "network": "BRIDGE", "portMappings": [ { "containerPort": 18630, "hostPort": {연결포트}, "protocol": "tcp" } ] }, "volumes": [ { "containerPath": "/etc/streamsets-mg..

Data Collector tarball 을 설치하여 수동으로 시작가능. Data Collector를 수동으로 시작하면 Data Collector는 실행 명령을 실행할 때 명령 프롬프트에 로그인 한 시스템 사용자 계정으로 실행가능. 또는 명령을 실행할 때 다른 사용자 계정을 가장 할 수 있음. Data Collector tarball 다운로드 https://streamsets.com/opensource 원하는 위치에 tarball 압축 해제 $tar xvf {datacollector}.tar 프로덕션 환경의 경우 구성, 데이터, 로그 및 리소스 파일을 저장하는데 사용되는 디렉터리가 tarball 및 기본 Data Collector 런타임 디렉터리의 압축을 푼 위치인 $SDC_DIST 외부에 있도록 구성하..

트위터 api를 사용하던 도중 요청해서 받은 json 데이터가 엉망징찬인 것을 확인 가능하다.. 아래와 같이 구제가 불가능하다.. 다음의 명령어를 추가해주자 $python -m json.tool 이것을 다음과 같이 사용해준다. $curl | python -m json.tool 아래와 같이 이쁘게 출력된다. 이 외에도 jq 라는 것이 있는데 아주 편하다. 설치방법은 링크를 참조해주고 $curl | jq . 를 입력해주면 자동으로 decoding도 해주는 것을 볼 수 있다.

StreamSets 계정 추가하기 터미널을 열고 streamsets app etc 폴더로 들어간다. 여기서 기존에 etc를 cp해서 streamsets 수동설치 매뉴얼대로 구축하였다면 위치는 두가지가 된다. $/home/streamset~/etc/ or $/etc/sdc/ cp를 한 내역이 있다면 /etc/sdc/에 있는 파일을 한 내역이 없다면 /home/streamset~/etc/의 파일을 수정하면 될 것이다. 해당 파일의 이름은 다음과 같다. form-realm.properties 해당 파일을 수정해주자 $vi form-realm.properties 여기에서 해시 된 암호와 함께 구성된 사용자 및 역할을 찾을 수 있다. 새로운 사용자 이름과 암호를 생성하기위해서는 MD5를 계산해야한다. $echo ..

Kafka on Mesos를 구축하여야 하여 이것 저것 구글링을하였다.. 자료가 많지 않았지만 참고 할 사이트는 아래와 같았다. 메소스피어 에서 공유해주신 글 MASON? 님의 글 그리고 Github read.me이다. https://github.com/mesos/kafka 항상 느끼지만 블로글 글을 보다가 너무 안되면 github이나 정식글을 보는것이 도움이 된다. 나는 github을 중심으로 글을 작성하겠다. marathon에 바로 올릴려 하였지만 맨 첫번째 링크에서는 그렇게 하지 말라고 되어있던것 같았다. 이유는 두가지 문제점이있었는데 번역해서 읽어보는것도 많은 도움이 되니 패스..(사실 귀찮아서) 먼저 kafka on mesos를 구축하기 위해서는 다음 두가지가 필요하다. 1. open jdk 설..

Kafka on mesos 설치 시 kafka scheduler 실행시 다음과 같은 에러가 발생하였다.. 나와 같은 분들이 계실까 자료를 공유하여 본다. 나는 이 에러를 해당 링크를 참고하여 해결을 하였다. 참고 링크 위에서는 해당 SLF4J 관련 파일이 Kafka lib 폴더에 존재하지 않아 뜨는 에러라고 한다.먼저 아래 링크에 들어가 보자 https://www.slf4j.org/ 들어가게 되면 다음과 같은화면이 뜨는데 다운로드에 들어가 준다 해당 다운로드 링크에서 아래 파일과 version이 달라도 이름이 유사한 zip을 다운받아주면 된다. 압축을 풀어주고 다음의 파일을 찾아 kafka가 설치된 서버에서 kafka lib폴더에 넣어준다. 자 그런 kafaka scheduler를 재 실행해보자.