python urllibのエラー処理, 関数再帰呼び出し, IP偽装について

Question

下記ドキュメントを元に、下記スクリプトを作成しました。
https://docs.python.org/ja/3/howto/urllib2.html#wrapping-it-up

注釈 except HTTPError が 必ず 最初に来る必要があります、そうしないと except URLError も HTTPError を捕捉してしまいます。

HTTP の ステータスコードによって処理を分けたいので、
except句で、HTTPError, URLErrorを分けたいのですが、
ドキュメントの注釈に背くのが何か嫌なので、
URLError に code属性が「ある」・「なし」で
「HTTPError」・「URLError」か判定することにしました。
→質問１へ

【質問１】code属性を持っていれば必ずHTTPErrorと判定してよいですか。
【質問２】関数を再帰呼び出しし、main()のresに値を返すことはできないのですか。
【質問３】このサンプルを通して、ユーザーエージェントを簡単に偽装できるのを知ったのですが、IPを偽装したりはできないのでしょうか。
例えば、IP制限をかけているサイトに対し、IPを偽装して、リクエストを投げることはできますか。
【質問４】質問3ができない場合の回避策をできるだけ多く教えてもらえませんか。
やったことがないですが、私が思いつくのは下記2つです。
・許可されたネットワーク帯から、自宅へVPNを張る
・SSHポートフォワード？を利用して、トンネル？を掘る
(指定ドメインの80番だけトンネルを経由する？)

#!/usr/bin/env python
# encoding: utf-8
import sys
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError


def main():
    url = "https://gihyo.jp/dp"
    # url = "http://not_exist_site/"
    res = throw_request(url)
    html = gen_html(res)
    save_file(html, "index.html")


def throw_request(url, req=None, recursive=False):
    if req is None:
        req = Request(url)
    try:
        res = urlopen(req)
    except HTTPError as e:
        print('raise HTTPError')
        print('StatusCode: ' + str(e.code))
        print('ErrorReason: ' + str(e.reason))
        if e.code == 403 and recursive is False:
            print("アクセスが禁止されています")
            print("ユーザーエージェントを偽装して再接続します")
            req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})
            return throw_request(url, req, True)  # 再帰呼び出し
        else:
            print('正常なレスポンスでないため、エラー終了します')
            sys.exit(1)
    except URLError as e:
        print('raise URLError')
        print('ErrorReason: ' + str(e.reason))
        print('正常なレスポンスでないため、エラー終了します')
        sys.exit(1)
    else:
        print("request was successful")
        print('StatusCode: ' + str(res.getcode()))
        return res


def gen_html(res):
    # f.read() の戻り値は bytes型
    # 文字列(str型)として扱うには、文字コードを指定してデコードする
    # res の charset でデコードして、保存する
    encoding = res.info().get_content_charset(failobj="utf-8")
    print("encoding: ", encoding)
    html = res.read().decode(encoding)
    return html


def save_file(text, file_name):
    with open(file_name, 'w') as f:
        f.write(text)
        print("save: " + file_name)


if __name__ == "__main__":
    main()

【補足】
質問1 につきましては、
ドキュメントの探し方が上手く慣れるようにしていかなきゃですね。
参考リンク先の情報で解決しました。ありがとうございます。

質問2 につきましては、
return throw_request(url, req)
の部分で再帰呼び出しした結果をreturnしていますが、
throw_request(url, req)
だけで、else句のreturn resより、
main()関数のresにthrow_requestのresを返したいということです。
なんとなく、変な気がしていたのですが、
else句のreturnを返す先はif句のthrow_requestに対してで、
return throw_request(url, req)
としなければ、返す先がないので、これが普通の動きなんだなと納得してきました。

質問3 につきましては、
HTTPプロトコルではできないとのことで、一旦納得しました。
きちんと理解するには、TCP/IPやOSI参照モデルを勉強する必要がありそうです。

質問4 につきましては、
別質問にして、再度掲載させていただこうと思います。

Answer 1

【質問１】code属性を持っていれば必ずHTTPErrorと判定してよいですか。

そういうことを知りたいときは、urllibのドキュメントを参照します。urllib.error --- urllib.request が投げる例外の章に例外の仕様が記述してあります。URLError例外はcode属性を持っていません。

【質問２】関数を再帰呼び出しし、main()のresに値を返すことはできないのですか。

ここはちょっと質問の意味がわかりませんでした。どういう処理をイメージしているのか質問文に追記していただけますか。

【質問３】このサンプルを通して、ユーザーエージェントを簡単に偽装できるのを知ったのですが、IPを偽装したりはできないのでしょうか。
例えば、IP制限をかけているサイトに対し、IPを偽装して、リクエストを投げることはできますか。

それはHTTPプロトコルの層ではできません。IPプロトコルかそれ以下のの層での処理です。しかし今どきのインターネットではソースIPアドレスを偽装したパケットを破棄するのが普通ですので、実用的に不可能でしょう。

【質問４】質問3ができない場合の回避策をできるだけ多く教えてもらえませんか。

これは最初の質問と話題が離れすぎるので、別の質問にしていただいたほうがいいとおもいます。

質問への補足追記後の回答

まず【質問1】の回答に補足です。HTTPErrorはURLErrorの基底クラスなので、次のようにも書けます (派生クラス→基底クラスの順で例外を捕捉するexcept節を書く)。code属性を持っているかどうかを調べるよりもすっきりしますし、汎用性があります (将来、code属性をもつ別の例外が追加されるかもしれませんから)。

def throw_request(url, req=None):
    if req is None:
        req = Request(url)
    try:
        res = urlopen(req)
    except HTTPError as e:
        print('raise HTTPError')
        ...

        if e.code == 403:
            ...

        sys.exit(1)
    except URLError as e:
        print('raise URLError')
        ...

        sys.exit(1)
    else:
        print("success Request")
        ...

        return res

で、【質問2】ですが、「例外が発生したか否かにかかわらず実行したい」というものはfinally節に書きます。例外がexcept節で捕捉されればその節の処理が実行され、そのあとでfinally節の処理が実行されます (成功の場合はfinally節だけ実行されます)。

ちなみに今回のコードの場合、例外発生時の処理の最後にsys.exit(1)でプログラムを終了するように書いてありますが、finally節で最終的にreturnして呼び出し元に戻るので、これらはいらないです (あってもききません)。

def throw_request(url, req=None):
    if req is None:
        req = Request(url)
    try:
        res = urlopen(req)
    except HTTPError as e:
        print('raise HTTPError')
        ...

        if e.code == 403:
            ...
            throw_request(url, req)

        #sys.exit(1)
    except URLError as e:
        print('raise URLError')
        ...

        #sys.exit(1)
    finally:
        print("success Request")
        ...

        return res

以上の説明のうち、例外処理の言語仕様については、Python言語仕様の「例外」節をみてください。

---

ところで、ご質問のとおりエラー時に再帰的にthrow_request()を呼び出せたとして、ユーザエージェントを変えてもアクセス拒否されたとしたら、再帰がとまらなくなりますね。明確な終了条件のない再帰呼び出しにはそういう危険があります。ここは再帰ではなく、単にもう一度リクエストを発行してみるだけのほうがいいかもしれません。

[3/30追記] 質問文で、再帰に終了条件を設けて無限の再帰にならないようにされたことを確認しました。

Comments

[teityura]

回答ありがとうございます。
finally句を使えば、最後に実行させられるのですね。
> ユーザエージェントを変えてもアクセス拒否されたとしたら、再帰がとまらなくなりますね。
ご提示いただいた改善案を元に、コードを修正してみました！

2重回答の件、少し様子見して、消えなかったら、ベストアンサーにしてクローズさせていただきます。

色々教えていただき、ありがとうございました。