프로그래밍/Python

이 방법은 noSQLBooster에서도 사용 가능하고, pymongo로도 사용 가능합니다! 일단 설명을 위해서 아래와 같이 테스트 컬렉션을 하나 만들어놓았어요, 컬렉션은 aggregate로 복제가 가능합니다. $out에는 복제하여 만들 컬렉션의 이름을 적어주세요. collection.aggregate([ {"$match": {}}, {"$out": "collection_clone"}, ]) 이제 noSQLBooster나, pymongo로 복제된 컬렉션을 확인해 보세요~! 끝

프로그래밍/Python

파이썬으로 크롤링을 해서 CSV파일로 저장한 경우 등등 CSV파일에 있는 dictionary형이나, list형이나, int형이나, float형이나... 모두 str형, 문자열로 저장됩니다. 파이썬에서 pandas로 열었을 때, 제대로 된 형태로 가져오려면 아래와 같이 불러와주면 됩니다! from ast import literal_eval literal_eval('{"name":"domdom", "site": "domdom.tistory.com"}') 만약 literal_eval이 에러가 나면, eval()을 통해 변경하면 됩니다! eval('{"name":"domdom", "site": "domdom.tistory.com"}')

프로그래밍/Python

openstreetmap을 사용할 때 아래와 같은 식으로 url을 사용하게 되지요! tile.openstreetmap.org/{z}/{x}/{y}.png 여기서 {z}는 zoom, {x}, {y}는 타일의 좌표(tile number)라고 말할 수 있습니다. 만약 타일의 좌표(tile number)만 알고 있는데 wgs84 좌표계의 x,y 위경도를 알고싶다거나, 혹은 wgs84 좌표계의 x,y 위경도만 알고 있는데 이 좌표의 OSM 타일의 좌표를 알고 싶을 때! 서로 변환할 수 있는 코드가 존재합니다. wgs84 좌표계 x,y를 tile number로 변환하는 경우, wgs84 좌표계 x,y에 해당되는 tile number의 왼쪽 상단점 (x,y) tile number를 리턴 받게되고, tile numbe..

프로그래밍/Python

데이터 타입을 문자열로 출력하는 방법입니다! 데이터타입이 문자열로 잘 출력이 되는지 먼저 아래와 같이 다양한 데이터타입의 변수들을 만들어놓았어요. a는 String, b는 int, c는 float, d는 bool, e는 datetime형입니다. 이 변수들이 어떤 타입인지 알기 위해서는 쉽게 type()을 통해 알 수 있는데, type()을 사용하면 이런식으로 출력이 돼요. 데이터타입인 'str'만 얻고 싶을 때는 어떻게 하면 되는지 알아볼게요! 일단 type()과 __class__는 같은 결과를 나타냅니다. 해당 변수의 데이터타입을 나타내주죠. type() == __class__ 실제로 __class__ 와 type의 type을 출력해보면 같은 결과가 나옵니다! 여기서 데이터타입만 문자열로 얻으려면 뒤에..

프로그래밍/Python

urllib2.HTTPError: HTTP Error 301: The HTTP server returned a redirect error that would lead to an infinite loop. The last 30x error message was: Moved Permanently 위와 같은 오류라거나 아래와 같은 오류를 경험하신 분이라면 이번에 소개 드릴 해결책으로 해결할 수 있으리라 생각합니다. Traceback (most recent call last): ... requests.exceptions.TooManyRedirects: Exceeded 30 redirects. 해결법 #1. 아래와 같이 requests 모듈에서 get 함수를 사용할 때 headers 에 user-agent 를 추..

프로그래밍/Python

reverse(), reversed() 메소드를 이용해서 리스트의 내용물들의 순서를 뒤집을 수 있습니다. reverse() 이 메소드는 반환 값이 없지만, 리스트에 있는 내용물의 순서를 뒤집습니다. 예제 list = [0,1,2,3,4] list.reverse() print(list) # [4,3,2,1,0] reversed() 이 메소드는 반환 값이 있으며, 리스트 안의 요소들을 뒤집은 뒤에 해당 리스트를 반환합니다. 예제 # ex) 1 lst = [1,2,3,4,5] print(list(reversed(lst))) # [5,4,3,2,1] # ex) 2 lst = [1,2,3,4,5] for i in reserved(lst): print(i) ''' 5 4 3 2 1 '''

프로그래밍/Python

한국어로 표현하면 뭐라고 해야할 지 고민이 됩니다. 딕셔너리에서 여러 개의 key들이 존재하는 지 확인하는 방법. 딕셔너리에서 여러 단어들이 딕셔너리의 key 값으로 존재하는 지 확인하는 방법. 영어로 표현하면 그냥 간단히 check if lists of keys exist in dictionary 라고 할 수 있겠는데요. https://stackoverflow.com/questions/10995172/check-if-list-of-keys-exist-in-dictionary Check if list of keys exist in dictionary I have a dictionary that looks like that: grades = { 'alex' : 11, 'bob' : 10, 'john' : ..

프로그래밍/Python

문장을 한글자씩 한국어인지 영어인지 확인하면서 카운트를 세고, 한국어 카운트가 영어카운트보다 많으면 한국어로, 한국어 카운트가 영어카운트보다 적으면 영어로 구분하도록 하였습니다! def isEnglishOrKorean(input_s): k_count = 0 e_count = 0 for c in input_s: if ord('가')

프로그래밍/Python

처음 인스타그램 사이트에 들어가면 로그인창이 나와요. 일단 로그인을 해줍니다! https://www.instagram.com/ 그리고서, 원하는 게시물을 크롤링 하기 위해 게시물을 검색해볼게요. 저는 강아지를 좋아하기 때문에 "댕댕이"를 검색해봤어요. "댕댕이"가 해시태그로 들어간 게시물이 13,774,470건이나 있네요! 이 게시물들을 크롤링해볼거에요. 원하는 해시태그가 들어간 게시물 크롤링이랍니다! 천만개가 넘어갈만큼 게시물이 굉장히 많이 때문에 셀레니움을 쓰면 시간이 엄청많이 걸릴거에요.. 우리는 파이썬의 requests 모듈을 통해 json형태로 게시물을 받아올겁니다! 인스타그램 게시물을 json형태로 게시물을 뿌려주는 아주 착하고 유명한(?) 페이지가 있어요. 키워드를 검색하기 전에 개발자도구를..