프로그래밍/Python

CSV파일을 판다스로 읽어왔는데 리스트 또는 딕셔너리가 문자열로 읽힐 때 아주 쉬운 해결방법! (판다스 뿐만 아니라 DB에 저장되어있는 등 ... 모든 문자열에 해당) 제가 읽어온 데이터에는 geojson 좌표데이터가 들어있어요. 대부분의 좌표데이터는 딕셔너리 내에 여러 리스트들로 만들어져있는데, 문자열로 저장되어보입니다 0번째 인덱스의 데이터를 출력해보니 데이터타입이 문자열이네요. 문자열이 아닌 데이터를 정상적으로 불러오는 아주 쉬운 방법!! literal_eval 라이브러리를 사용하는 것입니다 아래는 사용예시입니다 from ast import literal_eval literal_eval('[1.23, 2.34]') # 위 코드가 에러나면 eval('[1.23, 2.34]')로도 시도해보세요 lite..

프로그래밍/Python

pandas를 이용한 csv파일데이터를 몽고DB에 삽입하는 아주아주 쉬운 방법! 먼저 라이브러리 임포트와 몽고DB를 연동합니다 from pymongo import MongoClient import pandas as pd client = MongoClient(localhost, username='admin', password='1234', authSource='admin', authMechanism='SCRAM-SHA-256') #database db = client.get_database('test1') #collection cl = db.get_collection('test1_collection') 몽고DB에 삽입하려는 CSV파일을 판다스로 불러와 몽고DB 컬렉션에 인서트해주면 끝..!!!!!! fil..

프로그래밍/Python

장고의 accounts/login을 이용하여 로그인/로그아웃을 구현해놓은 상태, 이렇게 구현하면 views.py에 로그인/로그아웃 관련 페이지 없이 기능이 구현됩니다 따라서 로그인폼에 action받는 경로가 없죠 그럼 어떻게 로그인/로그아웃 로그를 저장할까요? 아래는 스택오버플로우에서 가져온, 로그인, 로그아웃 시 누가 로그인을 했는지 ip, user정보를 가져올 수 있는 코드입니다 import logging from django.contrib.auth.signals import user_logged_in, user_logged_out, user_login_failed from django.dispatch import receiver log = logging.getLogger(__name__) @rece..

프로그래밍/Python

장고에 디폴트로 들어있는 sqlite3에 계정을 만듭니다 python3 manage.py createsuperuser 계정리스트를 쭉 출력하다보면 계정마다 date_joined 를 가지고 있습니다 가입한(계정을 생성한) 날짜이죠 이는 utc 시간이므로 한국시간에 맞추려면 +timedelta(hours=9)를 해주어야 하구요 views.py에서 가입날짜를 포함한 계정정보를 template에 넘겨줍니다 from django.contrib.auth.models import User from datetime import datetime, timedelta def test(request): user = list(User.objects.values()) for n in user: n['date_joined'] +=..

프로그래밍/Python

일단 저는 파이썬 3.9를 사용하고 있는데요. 어느날 특정 모듈을 설치하구서 실행했더니 다음과 같은 오류가 나더군요. > python binwalk nothing.jpg Traceback (most recent call last): File "C:\Python39\Scripts\binwalk", line 4, in __import__('pkg_resources').run_script('binwalk==2.3.3', 'binwalk') File "C:\Python39\lib\site-packages\pkg_resources\__init__.py", line 651, in run_script self.require(requires)[0].run_script(script_name, ns) File "C:\Py..

프로그래밍/Python

단순히 URL 파라미터(query string)만 dictionary 포맷으로 만드는 법은 아래와 같습니다. from urllib.parse import parse_qsl query_string = 'isHttpsRedirect=true&blogId=domdomi&logNo=123456&parentCategoryNo=&categoryNo=12&viewDate=&isShowPopularPosts=false&from=postView' parsed = dict(parse_qsl(query_string)) print(parsed) ''' {'isHttpsRedirect': 'true', 'blogId': 'domdomi', 'logNo': '123456', 'categoryNo': '12', 'isShowPop..

프로그래밍/Python

말머리 최근에 블로그 글을 쓰면서 계속 반복되는 행동 중 하나가 바로 이미지에 워터마크를 삽입하는 작업이었습니다. 예를 들어 하단의 좌측 이미지에 하단 우측의 돔돔이블로그 워터마크를 넣는다고 생각해봅시다. 참고루 우측의 돔돔이블로그 워터마크는 배경색이 투명색입니다. 위 사진에서는 임시로 검정색으로 해둔 것입니다. 워터마크 넣어보기 위에서 보았던 좌측의 메이플스토리 이미지 파일이름이 maple_image.png 이고, 우측의 워터마크 이미지 파일이름이 watermark_image.png 입니다. import PIL my_image = Image.open('maple_image.png') watermark = Image.open('watermark_image.png') watermark = watermark..

프로그래밍/Python

몽고DB를 새로운 서버에 깔고 똑같이 작업하려고 했는데 갑자기 잘 돌아가던 구간에서 오류가 나더군요... 바로 몽고DB 컬렉션의 총 데이터 수를 구할 때 (collection.count())의 오류였어요!! 이 count() 방법은 pymongo3.7 버전 부터는 더이상 사용되지 않는다고 합니다. 하지만 총 데이터 수를 구하기 위해서 count() 대신에 count_documents()를 사용하면, 데이터가 정말 많다면,,,, 정말정말 오랜 시간이 걸립니다. aggregate 할때도 index가 먹히지 않더니, count_documents도 마찬가지인가 봅니다 ㅠㅠ 집계 쿼리를 수행하고 메타데이터를 사용하지 않는다고 하네요. 그래서 count(), count_documents() 대신에 collectio..

프로그래밍/Python

우선 저는 저 오류가 났을 때 아래와 같은 명령어를 실행했을 때 났습니다. python manage.py makemigrations python manage.py migrate 저는 makemigrations 까지는 잘 되었는데, migrate 하니깐 오류가 막 나면서 아래와 같은 결과가 나왔습니다. C:\Users\DomDomi\Desktop\Crawler\new-crawler-server>python manage.py migrate Operations to perform: Synchronize unmigrated apps: actor, community, crawler, user Apply all migrations: admin, auth, contenttypes, sessions Synchroniz..