pythonで毎日URLが変更されるサイトをスクレイピングしたい

Question

前提・実現したいこと

下記サイトのように、毎日ＵＲＬが変化するサイトをスクレイピングしたいです。
http://www.morningstar.co.jp/market_spn/index.html

たとえば、上記ＵＲＬに行っていただくと、マーケットー＞総合に、各記事へのリンクがあり、「Ｘ日のＰＴＳ注目ポイント＝（以下略）」のような見出しがあるのですが、
ジャンプすると、
https://www.morningstar.co.jp/market/2019/0701/stock_03601.html
のようなランダムな数値付きのＵＲＬになり、どうやって遷移すればよいのかわからない状況です。もしかしたら基本的なことなのかもしれませんが、ご教示いただければ幸甚に存じます。

Answer 1

Octoparseというスクレイピングツールをオススメ。
そのような機能があります。

Comments

[H.K2]

ありがとうございます。また使ってみます。
そのあとにパースしてＤＢに格納するまで一括でやりたいので、
機会があれば使ってみます。

[Yuki-Sakuraba]

Octoparseで抽出したデータを自動ＤＢに格納することもできますよ。

[H.K2]

ありがとうございます。みてみます。
使い方はOctoparse公式を見てみればよいのでしょうか。
よいサイトがあればご教示いただければ。

[Yuki-Sakuraba]

ほぼOctoparseの公式サイトを参考しました。最近動画ガイドもありまして。https://www.youtube.com/channel/UCS23IL_rwHhMd24J4wZJ4iQ

Answer 2

その初期のURLをスクレイピングし、該当のリンクを取得してそのURLをスクレイピングする、ということで。

Comments

[H.K2]

ありがとうございます。ちょっとやってみてるのですが、
requests.get(とりたいurl)で、初期ＵＲＬ開く
→bs4.findとかfind_allつかって、特定のタグの要素とる
→そのなかからre.searchとかで、条件に合うリンク取得
→取得したurlを、requests.get(取得したリンク）
この流れの繰り返しでよかったでしょうか。

[y_waiwai]

実際に動かしてみて所望の動作をすればそれでOKってことでいいんじゃないでしょうか