サイトから大量のデータ取得の方法(URLの規則性無し)

Question

大量のデータ取得の方法

あるサイトからcsvファイルを大量にダウンロードする必要があります。
しかし、手作業だと「日付指定、更新、csvファイルダウンロード」を何回も繰り返す必要があります。これは時間と手間がかかりますし、ヒューマンエラーが起こる可能性があります。
少なく見積もっても、2000回はクリックする必要がありそうです。
URLの規則性が無いので単純にfor文で回すことはできなさそうです。

どうにかpythonで自動化する方法はありませんか？

Answer 1

クリックでダウンロードできる仕組みになっているなら
大抵のサーバーサイド言語ならスクレイピングする仕組みが提供されています