[크롤링] Python 웹 크롤러 만들 때의 User-Agent 활용
웹 브라우저에서의 User-Agent란? 웹 사이트에 들어갔을 때 HTTP 패킷을 열어보면 HTTP Header에 항상 존재하는 헤더 값으로 User-Agent란 값이 있습니다. GET / HTTP/1.1 Host: domdom.tistory.com Connection: keep-alive Pragma: no-cache Cache-Control: no-cache Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Accept: text/html,application/xhtml+xm..