돔돔이블로그 | DomDom's Blog

프로그래밍/Python

아주 쉬운 줌 실시간 이슈 키워드 크롤링하기 ! 줌 이슈트렌드 페이지에 들어갑니다. 아래의 줌 이슈트렌드 링크에 들어가면, 상단에 NOW 이슈검색어가 1위부터 10위까지 있답니다! https://issue.zum.com/ ZUM 이슈트렌드 최근 실시간 검색어와 이슈를 한 곳에, 줌 이슈트렌드에서 검색어 트렌드를 확인해 보세요. issue.zum.com 1~10위 실시간 이슈검색어들을 가져와보도록 할게요. 일단 크롤링을 위해 requests, BeautifulSoup을 임포트 시키고, requests.get을 통해 줌 메인페이지 html 소스코드를 가져옵니다. import requests from bs4 import BeautifulSoup req = requests.get("https://issue.zu..

프로그래밍/Python

웹 브라우저에서의 User-Agent란? 웹 사이트에 들어갔을 때 HTTP 패킷을 열어보면 HTTP Header에 항상 존재하는 헤더 값으로 User-Agent란 값이 있습니다. GET / HTTP/1.1 Host: domdom.tistory.com Connection: keep-alive Pragma: no-cache Cache-Control: no-cache Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Accept: text/html,application/xhtml+xm..

프로그래밍/Python

우선 크롤링 할 때 정규식을 알아야 할 필요가 있을까요? 네 있습니다. XPath 나 CSS Selector 로 모든 원하는 내용을 가져올 수 있다면 정말 좋겠지만, 웹사이트라는 게 정말 다양한 형태가 있을 수 있고, 내가 원하는 부분이 하필이면 보기 편한 형태로 있지 않을 수 있습니다. 그럴 경우에는 정규식을 사용하여 가져와야할 수도 있겠죠. 그래서 정규식을 알아두면 웹 스크래퍼나 웹 크롤러를 만들 때 용이합니다. 특히 제 경험상 태그 안의 내용물을 가져올 때 정규식을 사용하게 되었던 것 같습니다. import re # regular expression pattern = re.compile("ca.e") # . (ca.e) : 하나의 문자를 의미 > care, cafe, case (O) | caffe ..

프로그래밍/Python

우선 requests 모듈이 설치가 되어 있지 않다면 별도로 설치를 해주어야 합니다. pip install requests 그리고 requests 모듈을 사용해서 구글 페이지를 요청해보고, 잘 요청되었다면 받아온 응답을 html 파일로 저장해보겠습니다. import requests res = requests.get("http://google.com") res.raise_for_status() # 응답코드 200(정상)이 아니면 예외처리 및 프로그램 종료 print(len(res.text)) with open("google.html", "w", encoding="utf8") as f: f.write(res.text) 위 코드를 잠깐 설명하자면, requests.get 함수를 사용해서 google.com 페..

프로그래밍/Python

Hello World 우선 HTML부터 얘기해보면 HTML은 요소(Element)와 속성(Attribute)으로 이루어져 있습니다. 그리고 요소와 요소, 요소와 속성 간에 계층 관계가 있음을 알 수 있습니다. 만약에 title 클래스의 자식 요소인 p 태그의 내용을 가지고 오고 싶다면 어떨까요? 위 코드에서는 정말 순식간에 알아챌 수 있겠죠. (selector 표현식으로 표현하면 이렇겠죠. body > div#container > div.title > p) 하지만 아주 복잡하게 구현되어 있는 네이버나 다음 같은 웹 페이지에서 바로 내가 원하는 부분을 절대 경로로 가져오는 것은 매우 길고 복잡한 경로(path)가 필요하게 될 것입니다. 이러한 문제를 해결하기 위해서 나온 개념이 XPath(XML Path ..

프로그래밍/Python

참고 : Python에서 내장함수란 별도로 import 할 필요 없이 사용할 수 있는 함수를 의미합니다. >>> print(dir("hello world")) ['__add__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getnewargs__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mod__', '__mul__', '__ne__', '__new__', '__..

프로그래밍/Python

import inspect import os from bs4 import BeautifulSoup print(inspect.getfile(os)) print(inspect.getfile(BeautifulSoup)) inspect 모듈에서 getfile 함수를 사용하게 되면 모듈이 위치하는 파일 시스템 경로를 알 수 있습니다. 우선 위 코드에서는 내장모듈인 os 모듈과 외부모듈로 따로 설치한 BeautifulSoup 모듈의 위치를 찾고 있습니다. 실행 결과는 아래와 같습니다. C:\Users\Domdomi\Downloads>python inspect.py C:\Python39\lib\os.py C:\Python39\lib\site-packages\bs4\__init__.py 내장모듈인 os 모듈의 경우에는..

프로그래밍/Python

try: print("나누기 전용 계산기입니다.") num1 = int(input("첫 번째 숫자를 입력하세요 : ")) num2 = int(input("두 번째 숫자를 입력하세요 : ")) print("{0} / {1} = {2}".format(num1, num2, int(num1/num2))) except ValueError: print("에러! 잘못된 값을 입력하였습니다.") except ZeroDivisionError as err: print(err) except Exception as err: print("알 수 없는 에러가 발생하였습니다.") print(err) 기본적으로 try: 어쩌구저쩌구 except: 어쩌구저쩌구 형태가 됩니다. 만약 특정 예외처리가 발생했을 때는 except Value..

프로그래밍/Python

파이썬으로 특정 날짜가 무슨 요일인지 구하는 방법입니다. 매우 쉽습니다! 일단 가지고 있는 날짜데이터가 문자열이라면 datetime형으로 변경해줍니다. 저는 오늘날짜인 2021년 10월 21일을 넣었어요. 오늘은 목요일이구요! 1 2 3 4 5 6 from datetime import datetime date = '2021-10-21' #목요일 datetime_date = datetime.strptime(date, '%Y-%m-%d') print(datetime_date) print(type(datetime_date)) 날짜의 타입을 datetime형으로 변경했습니다. datetime형 날짜 뒤에 .weekday()를 붙이면 해당 날짜의 요일 번호를 알 수 있어요. 0은 월요일, 1은 화요일, 2는 수요..