[크롤링] 파이썬 크롤링 시 기기 차단 우회하기 (fake-useragent 사용법/user-agent 사용법)
개요 파이썬에서 웹 크롤러를 만들 때 가장 큰 어려움은 역시 웹 사이트에서의 크롤러 또는 자동화 도구의 차단인 것 같습니다. 이런 경우 보통 time.sleep(3) 과 같이 몇 초간 크롤러를 쉬도록 하는데, 최근에 나오는 웹 사이트들을 차단 방법들이 더 다양해져서 이제는 동일한 기기에서 짧은 시간동안 여러 요청을 했을 경우에 차단하기도 합니다. 물론 동일한 기기를 판단하는 기준이 IP주소라면 별로 할 말이 없지만, IP주소가 아닌 User-Agent 값이라면 차단 우회 방법으로 User-Agent 값을 수시로 변경해주는 것으로 생각할 수 있습니다. 사실 크롤러에서 User-Agent 값은 일정한 데이터를 웹사이트로부터 응답받기 위해서 사용되는 중요한 요소입니다. 예를 들어 어떤 웹사이트의 경우 반응형으..