프로그래밍/Python

Python 에서는 기본적으로 아래 코드와 같이 while 문에서 탈출하기 위해서는 break 를 사용해서 탈출하는데요. end_of_page = False while True: # ...생략... if end_of_page == True: break else: continue 하지만 특정 조건이 따로 존재하지 않고, 무한하게 돌아가야 하는 상황이 있다고 가정하면 어떨까요? 예를 들어 제가 요즘 공부하고 있는 웹 사이트를 무한하게 크롤링해서 데이터베이스에 저장하도록 하는 크롤러 같은 파이썬 프로그램에서의 경우처럼 말이죠. 이런 경우에는 무한히 돌아가도록 해야합니다. 다만, 임시로 특정 부분에서 잘 돌아가는 지 또는 어떤 오류가 나는 지 확인하기 위해서라면 어떨까요? 물론 파이썬 디버거를 활용해서 이런 문..

프로그래밍/Python

개요 파이썬에서 웹 크롤러를 만들 때 가장 큰 어려움은 역시 웹 사이트에서의 크롤러 또는 자동화 도구의 차단인 것 같습니다. 이런 경우 보통 time.sleep(3) 과 같이 몇 초간 크롤러를 쉬도록 하는데, 최근에 나오는 웹 사이트들을 차단 방법들이 더 다양해져서 이제는 동일한 기기에서 짧은 시간동안 여러 요청을 했을 경우에 차단하기도 합니다. 물론 동일한 기기를 판단하는 기준이 IP주소라면 별로 할 말이 없지만, IP주소가 아닌 User-Agent 값이라면 차단 우회 방법으로 User-Agent 값을 수시로 변경해주는 것으로 생각할 수 있습니다. 사실 크롤러에서 User-Agent 값은 일정한 데이터를 웹사이트로부터 응답받기 위해서 사용되는 중요한 요소입니다. 예를 들어 어떤 웹사이트의 경우 반응형으..

프로그래밍/Python

가끔 크롤링을 할 때 현재 날짜 기준으로 6개월치의 데이터만 가져오고 싶을 때가 있습니다. 이럴 때 날짜를 다룰 때는 일반적으로 사칙연산(더하기, 빼기 등)을 통해서 연도, 월, 일에 대해 연산이 어렵습니다. 따라서 기준 날짜에 대한 연산이 필요할 때는 dateutil.relativedelta 모듈의 relativedelta 함수를 이용하면 편리합니다. 기준 날짜 월(month) 연산 2022년 1월 25일 6개월 전/후 날짜 구하기 import datetime from dateutil.relativedelta import relativedelta now_date = datetime.datetime.now() after_six_month = now_date + relativedelta(months=6) ..

프로그래밍/Python

이번에는 Selenium으로 네이버 로그인을 구현해보려고 해요! 우선 일반적인 네이버 로그인부터 구현해보고 뒤에 가서 캡챠 우회에 대해서 다룰 예정이에요! 우선 기본적으로 Selenium은 설치되어 있어야 합니다! 그리고 chromedriver 도 셋팅되어 있어야 하구요! 만약 chromedriver를 다운로드 하지 않았다면 아래 링크를 참고해보세요! https://domdom.tistory.com/283?category=978420 [크롤링] Selenium 사용 시 Chromedriver 다운로드하는 방법 Chromedriver 를 다운로드하기에 앞서 본인이 사용하는 크롬 브라우저가 몇 버전인지 확인해야 합니다. 버전을 확인할 수 있는 방법은 아래 문자열을 크롬 브라우저 URL 입력창에 입력하고 En..

프로그래밍/Python

geojson 파일안에 아래와 같은 폴리곤 바운더리 데이터가 있습니다. 특정 좌표가 이 바운더리 안에 해당되는지 알아보는 방법입니다 !! polyList = [(126.991058, 37.57415), (126.990971, 37.574445), (126.99068, 37.574386), (126.990017, 37.574284), (126.989087, 37.574182), (126.98771, 37.57354), (126.987727, 37.573512), (126.987871, 37.573566), (126.987967, 37.573386), (126.988527, 37.572729), (126.988513, 37.572651), (126.988499, 37.57257), (126.98849, 37..

프로그래밍/Python

config/urls.py 파일 수정하기 from django.urls import path, include urlpatterns = [ path('admin/', admin.site.urls), path('domdomi/', include('domdomi.urls')), ] path('domdomi/', include('domdomi.urls')) 가 의미하는 것은 domdomi/ 경로로 시작되는 페이지 요청은 모두 domdomi/urls.py 파일에 있는 URL 매핑을 참고하여 처리하라는 의미입니다. 다시 말해 domdomi 앱과 관련된 URL 요청은 domdomi/urls.py 파일에서 관리한다는 의미기도 합니다. domdomi/urls.py 파일 만들기 그리고 개발자가 직접 만든 앱의 경우에는 c..

프로그래밍/Python

domdomi 앱 생성하기 django-admin startapp domdomi 위 명령어로 domdomi 라는 앱을 생성하였다면, 아래와 같은 디렉토리 구조를 가지게 됩니다. 이제 manage.py 를 활용해서 개발 서버를 구동시켜보겠습니다. 개발 서버 구동하기 python manage.py runserver 개발 서버로 접속하기 위해서는 URL http://127.0.0.1:8000/ 로 접속하면 된다고 합니다. 이제 우리가 방금 만든 domdomi 라는 앱에 접속해보겠습니다. 그럼 위와 같이 404 (페이지 찾을 수 없음) 오류가 나는 것을 확인할 수 있습니다. 이는 오류 메시지에 원인이 이미 나와있습니다. Using the URLconf defined in config.urls. Django tr..

프로그래밍/Python

Django 설치하기 pip install django==3.1.3 우선 실습 환경에 맞는 버전의 django 를 설치합니다. Django Project 생성하기 그리고 django-admin 이라는 도구로 django project를 생성합니다. django-admin startproject config . 참고로 위 명령어는 .(현재 디렉토리)를 프로젝트 디렉토리로 만드는 명령입니다. 명령을 실행하고 나면 django 웹 서버를 구동하기 위해서 필요한 필수 파일들과 디렉터리 구조가 자동으로 생성됩니다. 어떤 구조들이 생성되었는 지 DOS 명령으로 확인해보겠습니다. (mysite) C:\Users\Domdomi\Django\project\mysite>tree /F 폴더 PATH의 목록입니다. 볼륨 일련..

프로그래밍/Python

1 단계 : 가상 환경 디렉터리 생성하기 윈도우에서 명령 프롬프트를 실행하고 다음 명령어를 입력해 C:\venvs 라는 디렉터리를 만듭니다. C:\Users\Domdom> cd \ C:\> mkdir venvs C:\> cd venvs 2 단계 : 가상 환경 만들기 파이썬 가상 환경을 만드는 다음 명령어를 입력해서 실행합니다. C:\venvs> python -m venv mysite 위 명령에서 python -m venv 는 파이썬 모듈 중 venv라는 모듈을 사용한다는 의미입니다. 그 뒤의 mysite 는 이제 생성하게 될 가상 환경의 이름입니다. 이름은 사용자 마음대로 지어도 됩니다. 위 명령어를 실행했다면 C:\venvs 디렉터리 하위에 mysite 라는 디렉터리가 생성되었을 겁니다. 그리고 이 m..