Powershellで再帰的Webクロール

Question

Windows10(1909）のPowerShellを使って、
Wget -r のように再帰的にクロールしたいと考えております。

Invoke-WebRequest　を使ってみたのですが、
再帰的にクロースする方法がわかりませんでした。

解決方法についてご教示ください。

Comments

[Zuishin]

最近は JavaScript でページを書き換えるためにその手が使えなくなっているサイトも多く、スクレイピングを規約で禁止したりトラップをしかけたりすることもあります。そこはクリアしているんですか？

[nishimeno]

おっしゃるとおり、動的サイトでは厳しですね。また、規約は、自分のサイトであるためクリアしています

[Zuishin]

https://qiita.com/hiron2225/items/eb5cbf18fed27b96a622

この方法は使えますか？

Answer 1

Invoke-WebRequestで指定されたurlのコンテンツを取得して、各リンクのurlを抽出して、それぞれについて自身を呼び出す関数を作ればいいと思います。