No image

Dev Env/Server

[Ubuntu] 크론 실행 및 로그파일 생성, 로그 롤링 방법

크론 실행 및 로그파일 생성, 로그 롤링 방법 1. 크론 실행 및 로그파일 생성하기 크론 실행할 스크립트 파일을 하나 생성했습니다. script.sh 내용에는 아무거나 .. 크론이 잘 돌아가는지 실행확인할정도로 적어주었습니다. echo "Log Time : $(date '+%Y-%m-%d %H:%M:%S')" 그리고, 스크립트파일을 실행할 수 있도록 권한을 주었습니다. chmod +x run_script.sh chmod 666 cron.log 크론탭을 열어 작성합니다. 매 1분마다 script.sh를 실행하고, 그 결과가 cron.log에 작성되도록 했습니다. 이렇게하면 로그파일에 계속 로그가 이어져서 작성됩니다. * * * * * /bin/bash script.sh >> cron.log 2>&1 2. ..

by DOMDOMI 2024. 4. 1.

No image

Dev Env/K8S·Docker

[docker compose] 도커 컨테이너 timezone 설정하기

어느날 크롤러를 개발하구서 각 크롤러들을 도커 컨테이너에 넣구서 돌렸습니다. 그리고 각 크롤러들은 담당 사이트 별로 데이터를 잘 긁어오고 있다가 갑자기 4월 11일 날짜의 내용을 가져오다가 다음 날인 4월 12일 날짜의 내용을 가져왔다고 하는 겁니다. 매일 딱 한번 가져오는 로직이었는데 "어떻게 당일 날짜가 아닌 다음날 날짜의 내용이 가져와진걸까?" 하고 의문이 들었는데요. 알고보니 이번 문제는 도커 컨테이너의 Timezone 문제였습니다. 이 문제는 도커 컨테이너에 넣기 전에 제 로컬 컴퓨터에서 돌려봤을 때 이상이 없음을 확인하구서 도커 컨테이너에 올린 거였는데요. 생각해보니 로컬에서는 기본적으로 KST (한국시간) 타임존으로 설정된 상태였던 것이었죠. docker container(도커 컨테이너)에서..

by 알 수 없는 사용자 2022. 4. 11.

No image

Dev/Node.js

[Nodejs - Mongoose] Schema에서 default 값을 현재 시간으로 하는 법

현재시간에서 3분 뒤의 시간을 default 값으로 가지는 스키마 완성된 코드 예시 : const EmailAuthSchema = new mongoose.Schema({ email: { type: String, required: true, unique: true, lowercase: true, trim: true, validate: validateEmail }, authCode: { type: String, required: true, validate: validateAuthCode }, expirationTime: { type: Date, required: true, default: () => Date.now() + 3*60*1000 }, }); 시간 없으신 분은 위에 코드를 보시면 되고, 설명이 필요..

by 알 수 없는 사용자 2021. 7. 7.

No image

Dev/Python

[pandas] 날짜를 일별, 주별, 월별로 구분하기

내가 파이썬에서 가지고 있는 데이터는 아래와 같다. { 'date' : [ ] } 비어있는 리스트를 value로 가지는 'date' key가 있는 딕셔너리. 'date' key의 value에다가 2021년 2월 1일부터 2021년 4월 1일까지 datetime형으로 날짜를 삽입했다. 이를 pandas dataframe으로 변환하여 일별, 주별, 월별로 구분가능하다. data 딕셔너리를 pandas DataFrame으로 변환했다. 여기서 groupby, Grouper를 이용한다. "D"는 일별, "W"는 주별, "M"는 월별로 묶어진다. 1. 일별 day = [g for n, g in .set_index('').groupby(pd.Grouper(freq='D'))] 그냥 똑같이 1일마다 출력된다. 2. 주..

by DOMDOMI 2021. 6. 7.