スクレイピングでデータ取得数を減らしたい

前提・実現したいこと

pythonのpandasを使い、スクレイピングを行っています。
サイトAからサイトB、サイトC、サイトD・・・・・へ飛ぶためのURLを取得したいと思っています。
対象URLは１００程度です。サイトAには対象URLのほかに200ほど別のURLがあります。

ソースコードは該当のソースコードの通りです。

対象URLの共通点は以下の通りです。
URLの末尾は6桁の数字で構成されています。
頭が2、2桁目が5~~9、3桁目以降は0~~9から始まる6桁の数字。
対象URLは同テーブル内のURL。同テーブル内には対象URL以外にURLが60ほどある。

現状のソースコードでは50000通りあるため対象サイトへかかる負荷や、時間等を考慮し、できるだけ少ない数でデータ取得を行いたいです。

発生している問題・エラーメッセージ

データ取得する数を減らしたい

該当のソースコード

python

A_id_list = []
for one in range(5,10):
for two in range (0,10):
for three in range (0,10,1):
for four in range (0,10,1):
for five in range (0,10,1):
A_id = '2'+str(one)+str(two)+str(three)+str(four)+str(five)
A_id_list.append(skill_id)

試したこと

対象URLを個別で指定。

補足情報（FW/ツールのバージョンなど）

URLの個別での指定以外の方法があったら教えていただきたいです。

meg_

2021/08/21 02:33

> 現状のソースコードでは50000通りあるため対象サイトへかかる負荷や、時間等を考慮しコードがないので分かりませんが「負荷」とはどの処理部分でかかっているのでしょうか？また「対象サイト」とはサイトAを指していますか？

makamaka

2021/08/21 03:09

説明が不足し申し訳ありません。当方初心者のためわかりにくい言い回し等あるにもかかわらずご助言ありがとうございます。現状のソースコードとは該当のソースコードを指しています。上記のコードを実行後 len(skill_id_list) を行うと、50000と出るため、50000通りあるのかと考えました。負荷に関しては、対象サイトへの負荷を考えています。timeモジュールを活用しても抽出対象が多い場合対象サイトに膨大な負荷をかけると見た記憶がありまして、できるだけ抽出数を少なくしたいと考えました。対象サイトとは対象サイトAを指しています。

meg_

2021/08/21 03:31

> 対象URLは１００程度です。サイトAには対象URLのほかに200ほど別のURLがあります。どのようにサイトAからURLを取得するのか分かりませんが、取得方法によってはサイトAの負荷はほとんど掛かりませんよ。（※取得方法はサイトの構造によって変わりえます）また存在しない要素をスクレイピングで取得しようとするとエラーが出ますが、その辺りについては理解されていますか？

makamaka

2021/08/21 03:34

ご回答ありがとうございます。存在しない要素につていは理解していませんでした。ご教授いただきありがとうございます。再度やり方を検討します。