Python requestsで接続タイムアウトの例外処理がうまくいかない

Question

Pythonのrequestsでスクレイピングの勉強をはじめました。
お店の名前と、お店のURL、お店ページのdescriptionを取得してテキストに保存したいと考えています。

現状のコードはこちらです。

環境
Python 3.10
PyCharm 2021.3.1
Windows 10

import requests
from bs4 import BeautifulSoup

user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) " \
             "Chrome/98.0.4758.80 Safari/537.36 "
header = {'User-Agent': user_agent}

url = 'https://'
res = requests.get(url, headers=header)
soup = BeautifulSoup(res.text, 'html.parser')

shop_names = soup.find_all(class_='tit-shoplist')

for shop_name in shop_names:
    # print(shop_name.text)# 店名取得
    # print(shop_name.a.attrs['href'])# URL取得
    shoptxt1 = shop_name.text.replace('\n', '')
    shoptxt2 = shop_name.a.attrs['href'] + "\n"
    # リスト型に整形
    shoptxt3 = [shoptxt1 + ",\n" + shoptxt2]

    # urlのリスト化
    url_list = [shop_name.a.attrs['href']]
    # urlをstr化 requestsで読み込ませるために
    strurl = ','.join(url_list)

    # ショップのURLへアクセス
    descres = requests.get(strurl, headers=header)
    # ショップURLのパース
    descrip = BeautifulSoup(descres.text, 'html.parser')
    shop_desc = descrip.find_all('meta', {'name': 'description'})
    # time.sleep(1)

    # テキストに保存
    with open('./omiseichiran.txt', 'a+', encoding='utf-8') as fw:
        for a in shoptxt3:
            fw.write(a)
        for c in shop_desc:
            fw.write("%s\n" % c + '\n\n')
            print(shoptxt3, shop_desc)

お店の名前とURLは取得できるようになりましたが、
30店舗ほどあるお店ページへ飛ぶときに、接続エラー（運営がされていないドメイン）に出くわすようになりました。

TimeoutError: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

その際、接続タイムアウトエラーが出ると、処理が止まってしまうため、
接続できないドメインがある場合はスキップし、処理を継続させたいと考え、
try exceptやif notの例外処理を試しましたが、requestsのエラーで止まってしまいます。

    with open('./omiseichiran.txt', 'a+', encoding='utf-8') as fw:
         for a in shoptxt3:
             fw.write(a)
         for c in shop_desc:
             if descres.status_code != 200:
                 fw.write("%s\n" % c + '\n\n')
             if not descres.status_code != 200:
                 continue
             print(shoptxt3, shop_desc)

エラーが出た場合でもループを継続したい場合はどのような対応をするといいのでしょうか。
何卒よろしくお願いいたします。

追記

教えていただいたrequestsの処理をしてもエラーが出たら止まってしまいます。

    for a in shoptxt3:
        print(shoptxt3, shop_desc)
        try:
            for c in shop_desc:
                print(descres.status_code)
        except (requests.exceptions.ConnectionError, TimeoutError):
            print("error")

Answer 1

try exceptを最初のrequestsでやったら動きました。

回答が的外れで、人を不愉快にするotn様は通報しました。

ありがとうございました。

Comments

[otn]

やっぱり、もう1つのほうのrequests.getだったのですよね？指摘通りだと思うのですが。

どの辺が不愉快だったのでしょう？ちょっと驚いています。

Answer 2

サンプル：

for url in ["https://qqq.teratail.com", "https://teratail.com"]:
    try:
        resp = requests.get(url)
    except requests.exceptions.ConnectionError:
        print(f"ERROR URL={url}")
    else:
        print(f"STATUS={resp.status_code} URL={url}")

Comments

[donbe]

試してみましたがエラー回避する動作にはなりませんでした。

[otn]

ああ、TimeoutErrorですね。では、
except (requests.exceptions.ConnectionError, TimeoutError):
で。

[donbe]

ありがとうございます。
exceptを加えてもエラーで処理がとまってしまいます。

[otn]

どうなるのでしょう？TimeoutError以外？

[donbe]

エラーこちらです。
URLをexampleにしてたのをURLいれました。（少しアダルトです）

TimeoutError: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

urllib3.exceptions.ConnectTimeoutError: (<urllib3.connection.HTTPSConnection object at 0x00000207E015EFE0>, 'Connection to luangea.com timed out. (connect timeout=None)')

urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='luangea.com', port=443): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x00000207E015EFE0>, 'Connection to luangea.com timed out. (connect timeout=None)'))

requests.exceptions.ConnectTimeout: HTTPSConnectionPool(host='luangea.com', port=443): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x00000207E015EFE0>, 'Connection to luangea.com timed out. (connect timeout=None)'))

[otn]

except (requests.exceptions.ConnectionError, requests.exceptions.ConnectTimeout):
でしょうか。

> 教えていただいたrequestsの処理をしてもエラーが出たら止まってしまいます。
何これ？
どこでエラーになっているか把握していないのでしょうか？

[donbe]

Python触り始めて5日目で把握できていないです。

[donbe]

for urls in shophref:
try:
resp = requests.get(urls)
except (requests.exceptions.ConnectionError, TimeoutError):
print(f"ERROR URL={urls}")
except requests.exceptions.ConnectTimeout:
print(f"ERROR URL={urls}")
else:
print(f"STATUS={resp.status_code} URL={urls}")

ステータスコードの取得までは進みましたが、エラー内容は同じです。

> TimeoutError: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかった
> requests.exceptions.ConnectTimeout

[otn]

エラーが発生しているのはその resp = requests.get(urls) の部分で間違いないですか？

[donbe]

URL GETしている時にエラーが出ていると考えられるため、requests.getしているときだと思われます。

resp = requests.get(urls)

もらったサンプルは正常に動くため、URLの処理でどう違うのか読み進めます。

[donbe]

for文を中盤へ持ってきたら動きました...。
なぜなんでしょうか。

もう少し触ってみます。

[otn]

> requests.getしているときだと思われます。
そりゃそうですが、2個あるうちの「それ」かどうかを聞いています。

> for文を中盤へ持ってきたら動きました...。
何のことでしょうか？