No image

Dev/Frontend

[DataTables] ajax를 통해 동적 테이블 만든 뒤, CSV다운로드 가능하게 하는 방법

먼저 datatables cdn들을 임포트합니다. 자세한 다운로드 / cdn 임포트 방법은 아래 홈페이지를 참고하세요. https://datatables.net/download/ Download Download Compatibility A detailed compatibility table shows the browser's that DataTables supports and also which features of the extensions can be used with the other extensions. A few features may not always be fully compatible with every other aspect of datatables.net html에 동적으로 생성할 빈 ..

by DOMDOMI 2023. 11. 2.

No image

Dev/Python

[python] xlsx Worksheet index 0 is invalid, 0 worksheets found 오류

"https://url.xlsx" 이런 xlsx 파일 링크를 requests.get을 통해 파일을 다운로드했는데 에러가 날 때가 있더라고요. (원래는 아래 코드로 정상적으로 다운로드 되어야 함) file = pd.read_excel(io.BytesIO(requests.get(download).content), engine="openpyxl") # 에러문구 openpyxl\reader\workbook.py:84: UserWarning: File contains an invalid specification for 0. This will be removed warn(msg) ValueError: Worksheet index 0 is invalid, 0 worksheets found 실제로 링크에 들어가서 파일..

by DOMDOMI 2023. 6. 1.

No image

Dev/Java

[java] 자바에서 CSV파일, JSON파일 불러오는 방법

1. 자바에서 CSV파일을 List of List로 불러오는 코드입니다. 파라미터 filePath에는 현재경로부터의 CSV 파일경로와 파일명을 입력해주시면 됩니다. 현재경로부터의 절대경로를 BASE_PATH에 받아오고, BASE_PATH와 filePath를 합쳐 CSV파일을 불러옵니다. 불러온 CSV파일은 List 타입으로 리턴됩니다. public static List getCsv(String filePath) { // 절대경로 가져오기 String BASE_PATH = new File("").getAbsolutePath(); // 현재경로부터의 CSV파일 경로 및 파일명 String FILE_PATH = BASE_PATH + filePath; // 파일 읽어서 List 형태로 리턴 List list =..

by DOMDOMI 2023. 1. 23.

No image

Dev/Python

[pandas] 2개 이상의 DataFrame join하기

조인하고 싶은 데이터프레임을 리스트에 넣고 ft.reduce, lambda를 이용해 조인하는 방식 사용! how에는 원하는 조인방식을, on에는 조인할때 기준이 되는 키값을 넣으면 됩니다. 조인타입에는 outer, left, right, inner 등이 있습니다 import pandas as pd import functools as ft csvList = [ pd.DataFrame(), pd.DataFrame(), pd.DataFrame(), .... ] file = ft.reduce(lambda left, right: pd.merge(left, right, how="inner", on="key"), csvList) join type 등에 대해서 아주 자세히 작성되어있는 게시물 참고! https://ww..

by DOMDOMI 2022. 7. 1.

No image

Dev/Python

[python] CSV파일 리스트/딕셔너리가 문자열로 되어있어요 해결방법!

CSV파일을 판다스로 읽어왔는데 리스트 또는 딕셔너리가 문자열로 읽힐 때 아주 쉬운 해결방법! (판다스 뿐만 아니라 DB에 저장되어있는 등 ... 모든 문자열에 해당) 제가 읽어온 데이터에는 geojson 좌표데이터가 들어있어요. 대부분의 좌표데이터는 딕셔너리 내에 여러 리스트들로 만들어져있는데, 문자열로 저장되어보입니다 0번째 인덱스의 데이터를 출력해보니 데이터타입이 문자열이네요. 문자열이 아닌 데이터를 정상적으로 불러오는 아주 쉬운 방법!! literal_eval 라이브러리를 사용하는 것입니다 아래는 사용예시입니다 from ast import literal_eval literal_eval('[1.23, 2.34]') # 위 코드가 에러나면 eval('[1.23, 2.34]')로도 시도해보세요 lite..

by DOMDOMI 2022. 5. 26.

No image

Dev/Python

[pymongo] pandas csv파일을 mongoDB에 한꺼번에 insert하는 방법

pandas를 이용한 csv파일데이터를 몽고DB에 삽입하는 아주아주 쉬운 방법! 먼저 라이브러리 임포트와 몽고DB를 연동합니다 from pymongo import MongoClient import pandas as pd client = MongoClient(localhost, username='admin', password='1234', authSource='admin', authMechanism='SCRAM-SHA-256') #database db = client.get_database('test1') #collection cl = db.get_collection('test1_collection') 몽고DB에 삽입하려는 CSV파일을 판다스로 불러와 몽고DB 컬렉션에 인서트해주면 끝..!!!!!! fil..

by DOMDOMI 2022. 5. 25.

No image

Dev/Python

[크롤링] BeautifulSoup 으로 가져온 데이터 CSV(엑셀)파일로 저장하기

이번에는 네이버 금융 사이트에 있는 국내 증시 시가총액 순위 1위부터 200위까지 가져오는 실습을 해볼 생각입니다. 가져오는 것으로 끝나지 않고 csv 모듈을 사용해서 csv 엑셀 파일로 저장해보도록 하겠습니다 우선 URL 링크는 다음과 같습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 시가총액 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 첫 페이지를 보시면 위와 같이 1위부터 아래로 쭉 50위까지 나열되어 있습니다. 그리고 다음 페이지인 2페이지로 넘어가면 다시 50위부터 100위까지 있습니다. 그 뒤로 여러 페이지가 존재하지만 이번에는 200위까지만 가져오는 코드를 작성해보겠습니..

by 알 수 없는 사용자 2021. 11. 30.

No image

Dev/Python

[python] CSV파일 열었는데 list, dict, int형 등이 문자열로 나올 때 해결법!

파이썬으로 크롤링을 해서 CSV파일로 저장한 경우 등등 CSV파일에 있는 dictionary형이나, list형이나, int형이나, float형이나... 모두 str형, 문자열로 저장됩니다. 파이썬에서 pandas로 열었을 때, 제대로 된 형태로 가져오려면 아래와 같이 불러와주면 됩니다! from ast import literal_eval literal_eval('{"name":"domdom", "site": "domdom.tistory.com"}') 만약 literal_eval이 에러가 나면, eval()을 통해 변경하면 됩니다! eval('{"name":"domdom", "site": "domdom.tistory.com"}')

by DOMDOMI 2021. 10. 12.