프로그래밍/Python

C:\Python39\site-packages\bs4\__init__.py:337: MarkupResemblesLocatorWarning: "......................." looks like a directory name, not markup. You may want to open a file found in this directory and pass the filehandle into Beautiful Soup. warnings.warn( C:\Python39\site-packages\bs4\__init__.py:337: MarkupResemblesLocatorWarning: "....." looks like a directory name, not markup. You may want t..

프로그래밍/Python

Linux(리눅스) 계열 운영체제의 경우 아래와 같이 하면 됩니다. # pip2.7 다운로드 wget https://bootstrap.pypa.io/pip/2.7/get-pip.py # pip2.7 설치 sudo python2.7 get-pip.py # 아래 명령을 통해서 어디에 설치되었는지 확인 할 수 있음 which pip2.7 Windows 의 경우에도 동일하게 위 URL에 접속해서 파일을 다운로드 받은 후에 설치하여 사용하면 됩니다. 혹시나 Windows 에서 다운로드 하는 방법을 모르신다면 아래와 같이 URL 에 접속 후 내용물을 마우스 우측 클릭 후 "다른 이름으로 저장..." 버튼을 누르셔서 다운로드 하실 수도 있습니다. https://bootstrap.pypa.io/pip/2.7/get-p..

프로그래밍/Python

Linux 계열 운영체제의 경우 아래와 같은 명령어를 실행하여 설치할 수 있습니다. sudo apt-get install libgmp3-dev sudo apt-get install libmpfr-dev sudo apt-get install libmpc-dev sudo pip3 install gmpy sudo pip3 install gmpy2 Windows 계열 운영체제의 경우 아래와 같이 하시면 됩니다. https://www.lfd.uci.edu/~gohlke/pythonlibs/#gmpy Python Extension Packages for Windows - Christoph Gohlke by Christoph Gohlke, Laboratory for Fluorescence Dynamics, Unive..

프로그래밍/Python

특정 컬럼을 기준으로 중복값이 들어가있는지 확인하고, 중복데이터를 제거하는 방법입니다. 일단 중복되는 값이 2개 이상인 데이터들만 가져옵니다! cursor = db.collection.aggregate( [ {"$group": {"_id": "$컬럼명", "unique_ids": {"$addToSet": "$_id"}, "count": {"$sum": 1}}}, {"$match": {"count": { "$gte": 2 }}} ] ) cursor를 list형으로 변환해서 출력해보면, 중복데이터들이 딕셔너리형태로 리스트 안에 들어있습니다. cursor list의 length가 길어질수록 중복데이터가 많이 나타난 것입니다. count는 특정컬럼명의 값이 동일한 데이터의 개수에요. 아래는 count가 2개인 ..

프로그래밍/Python

컬렉션에 아래와 같은 데이터가 들어있다고 가정하고, db = [ { 'name': 'A', 'date': datetime.strptime('2021-07-01'), 'money' : 123456789 }, { 'name': 'A', 'date': datetime.strptime('2021-07-01'), 'money' : 1 }, { 'name': 'A', 'date': datetime.strptime('2021-07-24'), 'money' : 111111111 }, { 'name': 'A', 'date': datetime.strptime('2021-08-05'), 'money' : 123456789 }, { 'name': 'B', 'date': datetime.strptime('2021-08-01')..

프로그래밍/Python

1. find만 사용했을 때 : collectionName.find({서치할 조건 딕셔너리}) 중복제거없이 조건에 맞는 모든 데이터를 가져옵니다! 2. distinct만 사용했을 때 : collectionName.distinct("name") *name: 어떤 컬럼명을 기준으로 중복제거해서 가져올 것인가 조건없이 모든 데이터 중 중복데이터는 제거하여 가져옵니다! 3. distinct와 find 함께 사용했을 때 ( 검색조건과 중복제거를 동시에 ) : collectionName.distinct("name", {서치할 조건 딕셔너리}) *name: 어떤 컬럼명을 기준으로 중복제거해서 가져올 것인가 조건에 맞는 모든 데이터 중 중복된 데이터를 제거하여 가져옵니다!

프로그래밍/Python

folium 인코딩 이슈가 있는 경우 한글이 깨져보이게 된다. 1. 아래와같이 터미널에 입력하여 설치하거나, pip install git+https://github.com/python-visualization/branca.git@master 2. 지도를 html파일로 저장하여 연다 m = folium.Map(location=[ , ]) m.save('mapHtml.html')

프로그래밍/Python

리스트는 data = data[:2] 이런식으로 쉽게 원하는 인덱스만큼 자를 수 있는데, 딕셔너리는 data = data[:2]가 되지 않아요. 이럴때 islice를 사용하면 됩니다. islice(딕셔너리.items(), 자르고싶은 인덱스만큼) 1 2 3 4 5 6 from itertools import islice data= {'a':1, 'b':2, 'c':3, 'd':4, 'e':5, 'f':6, 'g':7} dict(islice(data.items(), 5))

프로그래밍/Python

내가 파이썬에서 가지고 있는 데이터는 아래와 같다. { 'date' : [ ] } 비어있는 리스트를 value로 가지는 'date' key가 있는 딕셔너리. 'date' key의 value에다가 2021년 2월 1일부터 2021년 4월 1일까지 datetime형으로 날짜를 삽입했다. 이를 pandas dataframe으로 변환하여 일별, 주별, 월별로 구분가능하다. data 딕셔너리를 pandas DataFrame으로 변환했다. 여기서 groupby, Grouper를 이용한다. "D"는 일별, "W"는 주별, "M"는 월별로 묶어진다. 1. 일별 day = [g for n, g in .set_index('').groupby(pd.Grouper(freq='D'))] 그냥 똑같이 1일마다 출력된다. 2. 주..