[빅데이터 인프라 Linux / CentOs7] streamsets 스트림셋 수동 설치

Data Collector tarball 을 설치하여 수동으로 시작가능.
Data Collector를 수동으로 시작하면 Data Collector는 실행 명령을 실행할 때 명령 프롬프트에 로그인 한 시스템 사용자 계정으로 실행가능. 또는 명령을 실행할 때 다른 사용자 계정을 가장 할 수 있음.
 

1. Data Collector tarball 다운로드
   https://streamsets.com/opensource

 

2. 원하는 위치에 tarball 압축 해제
   $tar xvf {datacollector}.tar
    
3. 프로덕션 환경의 경우 구성, 데이터, 로그 및 리소스 파일을 저장하는데 사용되는 디렉터리가 tarball 및 기본 Data Collector 런타임 디렉터리의 압축을 푼 위치인 $SDC_DIST 외부에 있도록 구성하여야 함.
   
   런타임 디렉토리 외부의 디렉토리를 사용하여 Data Collector를 업그레이드 한 후에 디렉토리를 사용할 수 있게 하여야 함.
1. Configuration, data, log, and resource files는 $SDC_DIST 외부에 위치하도록 하여야 한다.
2. $SDC_DIST/libexec/sdc-env.sh, 다음과 같은 환경변수를 설정
• SDC_CONF
  데이터 수집기 구성 디렉토리
• SDC_DATA
  파이프 라인 상태 및 구성 정보를 위한 Data Collector 디렉토리
• SDC_LOG
  로그 용 데이터 수집기 디렉토리
• SDC_RESOURCES
  런타임 리소스 파일 용 Data Collector 디렉토리

위와 같이 주석을 풀어준다.

  c. $SDC_DIST/etc 의 모든 파일을 새로 만든 $SDC_CONF 디렉토리로 복사
$cp -r ./etc /etc/sdc
 

4. $SDC_DIST directory에서 다음의 명령어를 실행
   $bin/streamsets dc
   
   또는, 다음 명령을 사용하여 데이터 수집기를 실행
   $nohup bin/streamsets dc &
   
   다른 시스템 사용자 계정으로 Data Collector를 실행하려면 다음 명령을 사용
   $sudo -u <user> bin/streamsets dc
    

 

5. Data Collector UI에 액세스하려면 브라우저의 주소 표시 줄에 다음 URL 입력
   http://<hostname>:18630/
   
5. 

default id pw 는 admin/admin이다.