Dev/Java

json파일 읽어서 map으로 변환하기 1. pom.xml 에 라이브러리 추가 com.googlecode.json-simple json-simple 1.1.1 2. json파일을 불러와서 Map 형태로 변환해 리턴해주는 메소드를 생성합니다. // 파일 불러와서 Map 형태로 변환해 리턴해주는 메소드 public Map getJsonFile(String fileName) throws IOException, ParseException{ JSONParser parser = new JSONParser(); // JSON 파일 읽을 경로 String BASE_PATH = new File("").getAbsolutePath(); String FILE_PATH = BASE_PATH + fileName; // JSON..

Dev/Java

1. 자바에서 CSV파일을 List of List로 불러오는 코드입니다. 파라미터 filePath에는 현재경로부터의 CSV 파일경로와 파일명을 입력해주시면 됩니다. 현재경로부터의 절대경로를 BASE_PATH에 받아오고, BASE_PATH와 filePath를 합쳐 CSV파일을 불러옵니다. 불러온 CSV파일은 List 타입으로 리턴됩니다. public static List getCsv(String filePath) { // 절대경로 가져오기 String BASE_PATH = new File("").getAbsolutePath(); // 현재경로부터의 CSV파일 경로 및 파일명 String FILE_PATH = BASE_PATH + filePath; // 파일 읽어서 List 형태로 리턴 List list =..

Dev/Java

자바에서 JSON API 호출 시 나는 에러 Non-standard token 'NaN': enable JsonParser.Feature.ALLOW_NON_NUMERIC_NUMBERS to allow 위와 같은 에러 해결에는 mapper.enable ALLOW_NON_NUMERIC_NUMBERS 추가 ObjectMapper mapper = new ObjectMapper(); mapper.enable(JsonReadFeature.ALLOW_NON_NUMERIC_NUMBERS.mappedFeature()); Cannot deserialize value of type `java.util.ArrayList` from Object value (token `JsonToken.START_OBJECT`) Object ..

Dev/Java

Json 파싱을 위해 HttpURLConnection을 하는 와중에 Unexpected character ('

Dev/Python

단순히 URL 파라미터(query string)만 dictionary 포맷으로 만드는 법은 아래와 같습니다. from urllib.parse import parse_qsl query_string = 'isHttpsRedirect=true&blogId=domdomi&logNo=123456&parentCategoryNo=&categoryNo=12&viewDate=&isShowPopularPosts=false&from=postView' parsed = dict(parse_qsl(query_string)) print(parsed) ''' {'isHttpsRedirect': 'true', 'blogId': 'domdomi', 'logNo': '123456', 'categoryNo': '12', 'isShowPop..

Daily/IT Tech

공공데이터포털에는 수많은 데이터들이 있죠! 이 데이터들을 쉽게 활용할 수 있는 REST API 사용법을 알려드리려 합니다. 일단 먼저 어떤 데이터를 활용할지 공공데이터포털에 들어가봅니다! https://www.data.go.kr/ 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 공공데이터포털에 들어가면 보이는 검색창에 원하는 데이터를 검색해두 되구요, 저는 아직 어떤 데이터를 API호출하여 사용할지 정하지 않았으니 데이터찾기 > 데이터목록에 들어가보겠습니다 총 63,603건의 데이터가 검색이 되었네요! 조건검색에 있는..

Dev/Python

처음 인스타그램 사이트에 들어가면 로그인창이 나와요. 일단 로그인을 해줍니다! https://www.instagram.com/ 그리고서, 원하는 게시물을 크롤링 하기 위해 게시물을 검색해볼게요. 저는 강아지를 좋아하기 때문에 "댕댕이"를 검색해봤어요. "댕댕이"가 해시태그로 들어간 게시물이 13,774,470건이나 있네요! 이 게시물들을 크롤링해볼거에요. 원하는 해시태그가 들어간 게시물 크롤링이랍니다! 천만개가 넘어갈만큼 게시물이 굉장히 많이 때문에 셀레니움을 쓰면 시간이 엄청많이 걸릴거에요.. 우리는 파이썬의 requests 모듈을 통해 json형태로 게시물을 받아올겁니다! 인스타그램 게시물을 json형태로 게시물을 뿌려주는 아주 착하고 유명한(?) 페이지가 있어요. 키워드를 검색하기 전에 개발자도구를..

Tools/Etc

인터페이스 설계 확인 1. 외/내부 모듈간 공통기능 및 데이터 인터페이스 확인 (1) 인터페이스 산출물 : 인터페이스는 크게 UI와 시스템 인터페이스로 구분됨. (2) 인터페이스 설계서 시스템 인터페이스 설계서 : 시스템 인터페이스 설계서는 이기종 시스템 및 컴포넌트 간 데이터 교환 및 처리를 위해 각 시스템의 교환되는 정보가 정의된 문서. : 시스템 인터페이스 목록 주요항목: 인터페이스 번호, 일련번호, 인터페이스ID, 인터페이스명, 송신시스템, 수신시스템, 대내외 구분, 연계방식, 통신유형, 처리유형, 주기, 데이터형식, 수신담당자확인, 관련요구사항ID 시스템 인터페이스 정의서 : 각 인터페이스 번호 당 인터페이스가 되는 데이터, 데이터 형식, 송수신 시스템의 정보 등을 구체화하는 문서 : 시스템 인..

Dev Env/DB

firebase firestore 페이지에는 데이터 내보내기/가져오기 버튼이 없다. node-firestore-export-import 패키지를 통해서 json파일 형태로 데이터를 내보내고, 내보낸 json파일을 가져와 다시 데이터를 불러올 수 있다. www.npmjs.com/package/node-firestore-import-export node-firestore-import-export Firestore data import and export www.npmjs.com 해당 사이트에 적혀져 있는 것처럼, npm install -g node-firestore-import-export를 입력해 인스톨한다. 데이터 내보내기/가져오기를 하기 위해서는, 비공개 키 파일이 필요하다. firebase의 프로젝트..