Pythonを用いたスクレイピングで環境変数を変えてもプロキシ接続ができない

Question

プロキシサーバに接続して，スクレイピングを行いたいと考えています．
以下のコードでは，プロキシサーバ接続確認のため「確認くん」というサイトを指定しています．

os.environ['http_proxy']というものがプロキシ設定の環境変数ということなので，指定をしています．下記コードではusername等に変えていますが，実際は具体値を入れています．

これを実行すると，単純に自分のマシンのIPアドレスが表示されます．
途中でprint(urllib.request.getproxies())として，環境変数が変わっているか確認しています．ここでは正しく指定した値が入っているようですが，適当に'aaa'と指定してもこの文字列が出力されました．そのため，設定が違う可能性もありますが，一応何度も確認やブログ等の情報も参考にしています．

なにかお気づきのことがあればお教えいただけると幸いです．

WIndows10を用いています．

import requests
import urllib
import os
from bs4 import BeautifulSoup

def main():
    os.environ["http_proxy"]= "http://username:password@server_ip:port"
    headers = {
            "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
            }
    print(urllib.request.getproxies())
    request = urllib.request.Request(url="https://www.ugtop.com/spill.shtml", headers=headers)
    res = urllib.request.urlopen(request)
    soup = BeautifulSoup(res, 'lxml')
    print(soup)

Comments

[hentaiman]

アドバイスする為に確認したいんですが、なぜプロキシを通してスクレイピングするんですか？

[TakeItEasy]

現状は依頼をいただいて作業しています．
プロキシ自体にそこまで詳しくはないのですが，危険なサイトにアクセスするわけではないので，正体を隠したいというわけではないと思います．

Answer 1

以下の様にしてプロキシを使用する事が可能です。
プロキシの認証については{'Scheme': 'Scheme://Username:Password@Host:Port'}で認証が可能です。

import requests
import urllib
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0'}
proxies = {'https': 'https://164.70.64.71:3128'}	# ネット上で公開されていた適当なproxy
URL = 'https://www.ugtop.com/spill.shtml'

# urllib.requestを使用する場合
def proxy_use_urllib():
	proxy_support = urllib.request.ProxyHandler(proxies)
	opener = urllib.request.build_opener(proxy_support)
	urllib.request.install_opener(opener)
	# ↑ここまではproxyさえ指定すればテンプレとして使用出来ます。
	# 以降は通常通りリクエストを送るだけで串を刺す事が出来ているはずです。

	request = urllib.request.Request(URL, headers=headers)
	res = urllib.request.urlopen(request)
	soup = BeautifulSoup(res, 'lxml')

	return soup

# requestsを使用する場合
def proxy_use_requests():
	res = requests.get(URL, headers=headers, proxies=proxies)
	soup = BeautifulSoup(res.content, 'lxml')

	return soup

Answer 2

HTTPSプロトコルのプロキシ設定が必要という可能性はいかがでしょうか。
os.environ["https_proxy"] = ...