파이썬 파일을 초단위로 자동 실행(Crontab seconds 단위)

현재 실시간 데이터를 크롤링해서 저장하는 작업중인데 문제가 발견했다.

 

1. 해당 크롤링은 일정시간에만 작동하여야 한다.( ex  9시 10분 부터 18시)

2. 클로링 파이썬 코드는 초마다 작동하여야 한다. ( ex 2초마다) 

 

먼저 crontab을 두개를 만들어 1번 문제는 해결 완료!!

 

*/1 10-15 * * *
10-59 9 * * *

 

*/1 10-15 * * *  < - 10시부터 15시까지 매분마다 실행

10-59 9 * * * <- 9시 10분부터 10시까지 매분마다 실행

 

이렇게 되면 9시 10분부터 15시까지 실행하게 된다.

 

문제는 해당 python 파일을 초단위 마다 실행하여야 하는데 아래의 블로그를 참고하였다.

 

크론탭 초단위 실행에 대해 잘 나와있는 블로그

 

http://blog.naver.com/oohyes/220103936927

 

나는 내 파이썬 파일을 5초마다 실행하기 위해서 shell script를 만들어 보았다.

 

$vi 내스크립트.sh

 

'''

#!/bin/bash
source /home/파이썬 환경변수가 있다면?? 

(sleep 5 && python 파이썬 파일.py) &
(sleep 10 && python 파이썬 파일.py) &
(sleep 15 && python 파이썬 파일.py) &
(sleep 20 && python 파이썬 파일.py) &
(sleep 25 && python 파이썬 파일.py) &
(sleep 30 && python 파이썬 파일.py) &
(sleep 35 && python 파이썬 파일.py) &
(sleep 40 && python 파이썬 파일.py) &
(sleep 45 && python 파이썬 파일.py) &
(sleep 50 && python 파이썬 파일.py) &
(sleep 55 && python 파이썬 파일.py) &
(sleep 60 && python 파이썬 파일.py) &

'''

 

이렇게 되면 나같은 경우에 jenkins crontab -> 해당 shell script 실행 flow를 만들어서 매 5초마다 크롤링 가능한 환경을 구축하였다.