이번 포스팅에서는 파이썬 셀레니움 웹 드라이버 HTTP Proxy를 설정하는 방법을 간단히 다루겠습니다. 어떤 제한 정책에 의해서 특정 웹 사이트에 바로 접근하지 못하는 경우가 있습니다. 이럴 때 우회해서 접근할 수 있는 대표적인 방법들이 몇 가지 있습니다. 그중 하나가 바로 프록시 서버를 통해서 요청하는 것입니다.
셀레니움 웹 드라이버를 이용하면 HTTP 프록시 설정을 할 수 있습니다. 이를 이용해보겠습니다.
프록시 설정
프록시로 HTTP 요청을 보내기 위해서는 다음과 같은 코드가 필요합니다.
from selenium import webdriver
PROXY = "IP:Port"
webdriver.DesiredCapabilities.CHROME['proxy'] = {
"httpProxy": PROXY,
"ftpProxy": PROXY,
"sslProxy": PROXY,
"proxyType": "MANUAL"
}
driver = webdriver.Chrome()
driver.get("URL")
무료 프록시 찾기
구글에 free proxy 등으로 검색하면 여러 사이트가 나옵니다. 그중 적당한 사이트에 들어가서 선택하면 됩니다. IP Address와 Port를 복사하여 사용하면 됩니다.
예제
무료 프록시를 이용해서 한번 구글을 열어보겠습니다.
from selenium import webdriver
PROXY = "117.1.16.131:8080" # IP:Port
webdriver.DesiredCapabilities.CHROME['proxy'] = {
"httpProxy": PROXY,
"ftpProxy": PROXY,
"sslProxy": PROXY,
"proxyType": "MANUAL"
}
driver = webdriver.Chrome()
driver.get("https://www.google.com")
페이지 왼쪽 하단을 보시면 위치정보가 베트남으로 나오는 것을 볼 수 있습니다.
이 방법이 만능은 아닙니다. 해당 사이트가 프록시 차단이 걸려있으면 어쩔 수 없습니다.
- 이 글은 아나콘다(Anaconda3)가 설치된 주피터 노트북에서 작성되었습니다.