프로그래밍/Python

항상 HTML 태그를 파싱하기 까다로운 것들이 있는 것 같아요. 그런 것들을 모아서 정리해볼 생각입니다! 크롤링 공부하면서 계속 추가해 나갈 생각입니다. 1. HTML 코드 사이에 태그로 구성되어 있지 않은 텍스트 가져오기 1번 글 2021.11.23 미리보기 내용 2번 글 2021.11.27 미리보기 내용 위 HTML 코드에서 날짜 부분만 가져오기 위한 코드를 작성해보겠습니다. import requests from bs4 import BeautifulSoup html = ''' 1번 글 2021.11.23 미리보기 내용 2번 글 2021.11.27 미리보기 내용 ''' soup = BeautifulSoup(html, 'lxml') titles = soup.find_all('h1') for title i..

프로그래밍/Python

안녕하세요! 이번에는 크롤링 연습 예제로 다음(DAUM)의 "영화순위"를 가져와보려고 합니다! 다음 영화 순위는 최대 TOP 30까지 보여줍니다. 각 영화 정보는 크게 [이미지, 제목, 평점, 리뷰수, 예매율, 개봉일자]로 구성됩니다. 이번 포스트에서는 정확히 저렇게 6개 항목을 가져와서 출력해보고, 마지막으로 영화 제목과 순위 그리고 이미지를 파일로 저장해볼 생각입니다. 아래 이미지를 보시다시피 한 페이지에 5개의 영화정보가 나오고, 페이지 수는 6개이므로 총 30개의 영화에 대한 순위를 나타냅니다. 이제 위 이미지의 빨간 상자로 표시된 부분을 HTML 코드로 분석해보겠습니다. 보시다시피 ol.movie_list 태그 안에 li 태그들이 많이 있습니다. 그리고 li 태그들이 정확히 30개 임은 세워보면..

일상/후기

오늘 BBQ 양념치킨이 너무너무 먹고싶어서 할인받는 방법을 찾아보다가 SK텔레콤 T멤버쉽으로 7000원이나 할인 받고 양념치킨을 사먹었답니다!!🥰🥰 T멤버쉽으로 BBQ 할인쿠폰을 받는 방법입니다! 일단 T멤버쉽 어플이 없다면 설치합니다! 설치한 T멤버쉽 어플을 실행시켜 주세요! 아래 이미지는 T멤버쉽 어플을 실행시켰을 때 나오는 화면이에요. 저는 평소에 빠리바게트를 많이 가기 때문에, 빠리바게트에서 T멤버쉽으로 할인을 많이받았어요. 벌써 연간 누적혜택이 80,597원이에요!! 제일 첫 메뉴인 TDay를 누르면 정해진 디데이마다 또 여러 혜택들이 있어요. sk 오랫동안 썼는데 자세히 찾아보질 않아서 한번도 혜택을 못받은 바보 한명ㅠㅠㅠ😭😭😭 굽네치킨 모든 메뉴 5,000원 할인, 쉐이크쉑 15,000원 이..

일상/후기

야놀자에서 숙박대전이라는 할인이벤트를 하길래 숙박대전 할인 받아 결제하여 주말(토~일) 1박 2일동안 약 17만원으로, 신라스테이 마포점에서 1박 2일 숙박하고 왔습니다😎 저번에 노트북 작업할 공간이 필요해서 글래드호텔에서 머물면서 숙박한 후기를 썼었는데, 요번에도 작업할 공간을 찾아서 호텔을 찾게 되었습니다! 글래드호텔 후기를 보시려면 아래 링크를 눌러주세요~! https://domdom.tistory.com/218?category=981467 [글래드 마포] ⭐⭐⭐⭐ 4성급 글래드호텔 마포점 1박 2일 숙박 후기 노트북으로 하루종일 작업할 공간이 필요했는데, 저는 집에 책상/의자 세트가 없어서 스터디룸이나 까페를 찾아보다가 코로나 시국에 좀 더 사람 없고 안전한 곳에서 편하게 작업할 공간 없을 dom..

카테고리 없음

안녕하세요! 최근들어 NFT, 메타버스 같은 용어들 많이 들어보게 되는데요! 저는 이번에 단순히 암호화폐나 블록체인 분야 중심보다 예술, 아트 중심으로 알아보다가 관련 전시회가 있다고 해서 소개해보고자 합니다! 규모가 호텔 지하에서 하는 거라 꽤 큰 것 같습니다~ 약 150평이고, 작품 수도 200점이나 된다고 합니다! 그리고 NFT방도 따로 있다고 하는데 벌써부터 너무 긍금하네요! 르네상스를 걸쳐 포스트코로나까지. 혁명적인 수준의 알고리즘을 갖춘 지금 이 세상! 지속된 가상현실에 대한 지루함으로 일상에 지쳐 있을지 모르는 2222년의 여러분들에게 2020년의 예술가들이 준비한 아트마켓 프로젝트 2222 EARTH MARKET! 국내/외를 대표하는 핫한 아티스트들의 어반아트, 스트릿아트, NFT 등을 한..

보안/Wargame

우선 힌트를 보면 level9 계정의 비밀번호가 담긴 shadow 파일에 대한 힌트를 주고 있는 것 같은데요. 힌트에 나온 대로 파일의 용량을 기준으로 한번 검색해보았습니다. 명령어는 아래와 같습니다 find / -group level8 -size 2700c 2> /dev/null 그럼 위와 같이 파일 한 개가 찾아지는 것을 볼 수 있습니다. 잠깐 명령어에 대해 설명하고 넘어가자면, -group 옵션은 파일의 그룹 소유자를 지정할 수 있게 해줍니다. (처음에는 -user level8 옵션으로 검색해보았지만 결과가 나오지 않아 -group 옵션을 사용했습니다.) 그리고 -size 옵션에 대한 정리를 해보겠습니다. find 명령의 -size 옵션은 파일 크기를 기준으로 검색할 수 있게 해주는데요. # fin..

프로그래밍/Python

이번에 가져올 부분은 특정 웹툰의 소개 부분과 회차 부분을 가져와보겠습니다. 이번에는 이전과 다르게 find, find_all 함수가 아닌 CSS Selector 만을 사용해서 가져와보도록 하겠습니다. 우선 웹툰에 대한 정보가 담긴 박스의 구성요소를 살펴보겠습니다. 이미지는 comicinfo 클래스의 thumb 클래스 내에 a 태그로 감싸져있는 img 태그에 해당합니다. 웹툰의 제목은 detail 클래스 안의 h2 태그의 텍스트에 해당되고, 웹툰 소개는 p 태그에 해당하고, 장르는 detail_info 클래스의 genre 클래스 내의 텍스트에 해당되고, 연령 대는 age 클래스 내의 텍스트이며, 각종 버튼 관련된 건 btn group 클래스에 정의되어 있다고 합니다. 이제 이를 CSS Selector 로..

프로그래밍/Python

위 사진에서 빨간색 상자로 둘러싸져 있는 부분을 가져와 보겠습니다. 개발자도구(F12)를 열고 랭킹에 해당하는 박스가 어떤 태그로 구성되어 있는지 살펴봅니다. 보시면 ol 태그와 그 안에는 li 태그들로 각각 랭킹들이 구성되어 있는 걸 확인할 수 있습니다. id 가 realTimeRankFavorite인 ol 태그 내의 li 태그들을 모두 가져오는 코드는 아래와 같습니다. import requests from bs4 import BeautifulSoup url = "https://comic.naver.com/webtoon/weekday" res = requests.get(url) res.raise_for_status() # 오류 시 종료 soup = BeautifulSoup(res.text, 'lxml'..

프로그래밍/Python

다음 뉴스를 파이썬으로 크롤링해보려합니다! 다음 뉴스 중에서도 가장 핫한, 사람들이 많이 본 뉴스랭킹을 뽑아올거에요, https://news.daum.net/ranking/popular 뉴스 랭킹 다음뉴스 news.daum.net 랭킹뉴스에 많이 본, 열독률 높은, 댓글 많은, 연령별 뉴스가 랭킹순으로 리스팅 되어있어요. 모두 포맷은 동일하기 때문에 전부다 가져올거에요, 각 카테고리별 링크는 아래와 같구, ranking/ 뒤만 달라지는 것을 확인할 수 있었어요. "많이본" 뉴스의 링크는 https://news.daum.net/ranking/popular "열독률 높은" 뉴스의 링크는 https://news.daum.net/ranking/kkomkkom "댓글 많은" 뉴스의 링크는 https://news...