スクレイピングで決算短信PDFを取りたいが、エラーが出る

Question

前提・実現したいこと

pythonで下記サイトにアクセスし、決算短信のみを取りたいのですが、
途中で接続エラーが出て止まってしまいます。

timeout error
urlerror
connection error
などがエラーで出ます。

サイト:
決算プロ
http://ke.kabupro.jp/

このサイトから今年出た決算短信を全てダウンロードすることが目的です。

大変恐縮ですが、python、スクレイピングともに初心者です。
出てくるエラーをその都度、検索して調べても上手くいかず、
こちらで質問させていただいております。
お助けいただければ幸いでございます。

発生している問題・エラーメッセージ

TimeoutError                              Traceback (most recent call last)
~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connection.py in _new_conn(self)
    158             conn = connection.create_connection(
--> 159                 (self._dns_host, self.port), self.timeout, **extra_kw)
    160 

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\util\connection.py in create_connection(address, timeout, source_address, socket_options)
     79     if err is not None:
---> 80         raise err
     81 

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\util\connection.py in create_connection(address, timeout, source_address, socket_options)
     69                 sock.bind(source_address)
---> 70             sock.connect(sa)
     71             return sock

TimeoutError: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

During handling of the above exception, another exception occurred:

NewConnectionError                        Traceback (most recent call last)
~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connectionpool.py in urlopen(self, method, url, body, headers, retries, redirect, assert_same_host, timeout, pool_timeout, release_conn, chunked, body_pos, **response_kw)
    599                                                   body=body, headers=headers,
--> 600                                                   chunked=chunked)
    601 

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connectionpool.py in _make_request(self, conn, method, url, timeout, chunked, **httplib_request_kw)
    353         else:
--> 354             conn.request(method, url, **httplib_request_kw)
    355 

~\AppData\Local\Continuum\anaconda3\lib\http\client.py in request(self, method, url, body, headers, encode_chunked)
   1228         """Send a complete request to the server."""
-> 1229         self._send_request(method, url, body, headers, encode_chunked)
   1230 

~\AppData\Local\Continuum\anaconda3\lib\http\client.py in _send_request(self, method, url, body, headers, encode_chunked)
   1274             body = _encode(body, 'body')
-> 1275         self.endheaders(body, encode_chunked=encode_chunked)
   1276 

~\AppData\Local\Continuum\anaconda3\lib\http\client.py in endheaders(self, message_body, encode_chunked)
   1223             raise CannotSendHeader()
-> 1224         self._send_output(message_body, encode_chunked=encode_chunked)
   1225 

~\AppData\Local\Continuum\anaconda3\lib\http\client.py in _send_output(self, message_body, encode_chunked)
   1015         del self._buffer[:]
-> 1016         self.send(msg)
   1017 

~\AppData\Local\Continuum\anaconda3\lib\http\client.py in send(self, data)
    955             if self.auto_open:
--> 956                 self.connect()
    957             else:

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connection.py in connect(self)
    180     def connect(self):
--> 181         conn = self._new_conn()
    182         self._prepare_conn(conn)

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connection.py in _new_conn(self)
    167             raise NewConnectionError(
--> 168                 self, "Failed to establish a new connection: %s" % e)
    169 

NewConnectionError: <urllib3.connection.HTTPConnection object at 0x0000017F7B152CC0>: Failed to establish a new connection: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。

During handling of the above exception, another exception occurred:

MaxRetryError                             Traceback (most recent call last)
~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\adapters.py in send(self, request, stream, timeout, verify, cert, proxies)
    448                     retries=self.max_retries,
--> 449                     timeout=timeout
    450                 )

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\connectionpool.py in urlopen(self, method, url, body, headers, retries, redirect, assert_same_host, timeout, pool_timeout, release_conn, chunked, body_pos, **response_kw)
    637             retries = retries.increment(method, url, error=e, _pool=self,
--> 638                                         _stacktrace=sys.exc_info()[2])
    639             retries.sleep()

~\AppData\Local\Continuum\anaconda3\lib\site-packages\urllib3\util\retry.py in increment(self, method, url, response, error, _pool, _stacktrace)
    398         if new_retry.is_exhausted():
--> 399             raise MaxRetryError(_pool, url, error or ResponseError(cause))
    400 

MaxRetryError: HTTPConnectionPool(host='ke.kabupro.jp', port=80): Max retries exceeded with url: /hist/2020.htm (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000017F7B152CC0>: Failed to establish a new connection: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。'))

During handling of the above exception, another exception occurred:

ConnectionError                           Traceback (most recent call last)
<ipython-input-58-37c61c3faff7> in <module>
     10 
     11 url_login='http://ke.kabupro.jp/hist/2020.htm'
---> 12 res=session.post(url_login)
     13 res.raise_for_status()
     14 res.encoding=res.apparent_encoding

~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in post(self, url, data, json, **kwargs)
    579         """
    580 
--> 581         return self.request('POST', url, data=data, json=json, **kwargs)
    582 
    583     def put(self, url, data=None, **kwargs):

~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
    531         }
    532         send_kwargs.update(settings)
--> 533         resp = self.send(prep, **send_kwargs)
    534 
    535         return resp

~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in send(self, request, **kwargs)
    644 
    645         # Send the request
--> 646         r = adapter.send(request, **kwargs)
    647 
    648         # Total elapsed time of the request (approximately)

~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\adapters.py in send(self, request, stream, timeout, verify, cert, proxies)
    514                 raise SSLError(e, request=request)
    515 
--> 516             raise ConnectionError(e, request=request)
    517 
    518         except ClosedPoolError as e:

ConnectionError: HTTPConnectionPool(host='ke.kabupro.jp', port=80): Max retries exceeded with url: /hist/2020.htm (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000017F7B152CC0>: Failed to establish a new connection: [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。'))

該当のソースコード

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import time
import webbrowser
from urllib.request import *
import os

session=requests.session()

url_login='http://ke.kabupro.jp/hist/2020.htm'
res=session.post(url_login)
res.raise_for_status()
res.encoding=res.apparent_encoding

bs=BeautifulSoup(res.content,'html.parser')

for bss in bs.find_all('td',class_='CellBrownRed'):
    link=bss.a['href']
    link=link.replace("..","http://ke.kabupro.jp")
    #webbrowser.open(str(link))
    time.sleep(3)
   
    session2=requests.session()
    res_day=session2.post(link)
    res_day.raise_for_status()
    res_day.encoding=res.apparent_encoding
    bs_day=BeautifulSoup(res_day.content,'html.parser')
   
    for tr in bs_day.find_all('tr'):
        for bss_day in tr.find_all('td',class_='CellBrownName'):
            title=bss_day.a.getText()
            link_url=bss_day.a['href']
            if '決算短信' in title:
                number=tr.find('td',class_='CellName')
                number=number.a['href']
                number=number.replace('../code/','').replace('.htm','')
               
                file_name=str(number)+"_"+str(title)+".pdf"
                save_file="./決算短信/"+str(file_name)
                urlretrieve(link_url,save_file)
               
                time.sleep(1)

試したこと

time.sleepの時間を長くしても上手くいかず、
例外処理でエラーが出たら再度アクセスするなども試しましたが、上手くいきませんでした。

最初は300ぐらい一気にダウンロードできたのですが、
実行し直す度にダウンロードできる数が減り、最終的に1つもアクセスできなくなります。
（時間を空けて再度実行すると,またある程度の数がダウンロードできるようになる）

そもそもスクレイピングによるアクセスが弾かれているのでしょうか？

補足情報（FW/ツールのバージョンなど）

windows10 pro
python3.8.0
jupyter notebook

Answer 1

動きを見る限り、アクセス状況を見て弾かれているのでしょう。タイムアウトが増えていくのはプログラムの問題ではないと思います。
そもそもアクセス制限があるサイトなのではないでしょうか。

Comments

[HirokiMiyazaki]

ありがとうございます！
やはりそうですか…
ただ、それがわかったおかげで対処して上手くできました
ありがとうございました！