url 404チェックにつきまして

Question

お世話になります。

現在ウェブページの404エラーをチェックしているのですが、１つ１つのチェックなので非常に手間がかかっております。

こういったチェックを範囲を区切ってする事はできるのでしょうか？
webページが末尾数字等で1~9の変化のためまとめてチェックを行えるようにしたい。
当方pythonをかじった程度なので上手く言葉にできないのですが例えば、

pythonでしたら、

url = ""
html = urllib2.urlopen(url)
これでしたら１つの部分は検索できるのですが複数の場合

html = urllib2.urlopen(url,url2)のようにここからここまでチェック出来るような物は無いでしょうか？

要領が上手く掴めず言葉足らずな部分多いので誠に申し訳ございません。

どうかご教授お願いいたします。

Answer 1

以下のようにすればできます。

• urlをリストで持ち、ループで処理する
• HTTPステータスを（エラー含めて）取得する
• その他のエラー（例外）も捕捉して、処理続行できるようにする。

import urllib2

urls = ["www.example.com",
        "www.example.com/404page",# 404
        "localhost:9999"]         # サーバ存在しない

for url in urls:
    try:
        html = urllib2.urlopen("http://" + url)
        print(html.getcode())
    except urllib2.HTTPError as e:
        print(e.code)  # 404など
    except urllib2.URLError as e:
        print(e.reason)# サーバ存在しないなど     

また、特定サイト下のWebページのリンク切れを一括チェックしたいなら、以下が参考になります。
ページ内のリンク切れ確認を行うテストコード

Comments

[nisiya22]

誠にありがとうございます。
わざわざ参考になるものまで持ってきていただき感謝しております。
更に精進致します。