requestsのタイムアウト処理ができないです

Question

前提・実現したいこと

１０万件近くのデータ収集をしております。
10件に一回くらいのペースでタイムアウトエラーになります。
拾ってきたリンクをrequestsでアクセスしています。
タイムアウト処理をして、タイムアウトしたら再度アクセスしたいのですが、なりません。。
他に書き方あれば他でも構いません教えてください。。

try:
            # スクレイピング対象の URL にリクエストを送り HTML を取得する
            res = requests.get(link,headers=header,timeout=(6.0, 10.5),verify=False)
        except requests.exceptions.ConnectTimeout:
            print('タイムアウトしました' + str(sleeptime) + '後に再開')
            sleep(sleeptime)
            res = requests.get(link,headers=header,timeout=(6.0, 10.5),verify=False)

発生している問題・エラーメッセージ

requests.exceptions.ReadTimeout: HTTPSConnectionPool(host='vymaps.com', port=443): Read timed out.

該当のソースコード

for link in link_lists:
        if link in 'google.co.jp':
            break
        
        try:
            # スクレイピング対象の URL にリクエストを送り HTML を取得する
            res = requests.get(link,headers=header,timeout=(6.0, 10.5),verify=False)
        except requests.exceptions.ConnectTimeout:
            print('タイムアウトしました' + str(sleeptime) + '後に再開')
            sleep(sleeptime)
            res = requests.get(link,headers=header,timeout=(6.0, 10.5),verify=False)
        # レスポンスの HTML から BeautifulSoup オブジェクトを作る
        try:
            soup = BeautifulSoup(res.text, 'html.parser')
        except:
            print('アクセスできない')
        print(link)

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

mac
anaconda
python3.8.8

requests
beautiful soup
スクレイピング

Answer 1

実際に起こっているのは、ReadTimeoutなのに、exceptでの指定がConnectTimeoutだけだからですね。
複数の例外はタプルにして指定できます。

        except (requests.exceptions.ConnectTimeout,requests.exceptions.ReadTimeout):

Comments

[su_da221]

ありがとうございます。解決できました！

Answer 2

もう一つexcept節を追加して
requests.exceptions.ReadTimeout
も拾いましょう。