Python用モジュール「Selenium」でプロキシを使ってWebページにアクセスする方法についてソースコード付きでまとめました。
プロキシを使ってWebページにアクセス
Python用モジュール「Selenium」を用いて、プロキシを使ってWebページにアクセスすることができます。
所謂「串を刺す」というやつです。
サンプルコード(Python3)
サンプルプログラムのソースコードです。
# -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options url 'https://www.yahoo.co.jp/' # プロキシの設定 PROXY = '{proxy-server}:{port}' # サーバーとポート PROXY_AUTH = '{userid}:{password}' # IDとパスワード # オプション option = Options() option.add_argument('--proxy-server=http://%s' % PROXY) option.add_argument('--proxy-auth=%s' % PROXY_AUTH) # Chromeで操作する場合 driver = webdriver.Chrome() driver = webdriver.Chrome(executable_path='chromedriver', chrome_options=option) # ページをロード driver.get(url)
– | 関連記事 |
---|---|
1 | ■【Python/Selenium】ブラウザ操作入門 ■【Python】Webスクレイピング入門 ■Python入門 基本文法 ■【Python】ネットワークプログラミング入門 |
コメント
この方法は今も使えますか?
こちらの環境がGoogle Colaboratory上でsquidを利用したproxy serverなのですが、設定で注意点などありますでしょうか?