【Python】robots.txtの「Disallow: /search*」と「Disallow: /search/*」は違いますか？

Question

気になっていること

スクレイピングをする中で、下記のrobots.txtを読んでいます。

Wall Street Journal Onlineのrobots.txt

こちらでは「Disallow: /search*」と書かれているのですが、この受け取り方についてちょっとわからないところがあります。例えば、「Disallow: /search*」と「Disallow: /search/*」はどう違うのでしょうか？

もうちょっと具体的な質問をすると、
「Disallow: /search*」の場合下記のURLのうちどれがアウトになるのでしょうか？

①https://www.wsj.com/search-aaa
②https://www.wsj.com/search/aaa
③https://www.wsj.com/aaa/search-bbb
④https://www.wsj.com/aaa/search/bbb

ご回答よろしくお願いします。

ちなみにスクレイピング関連でこちらの質問も投げています、わかる方いらっしゃいましたらご回答お願いします。
【Python】BeautifulSoupでのスクレイピングでタグがうまく取得できない。

Answer 1

/search*は/searchから始まるURL、 /search/*は/search**/**から始まるURLがアウトになります。(後者にはsearchの後にスラッシュが付いているのがポイント)

/search*指定の場合は1と2、/search/*指定の場合は2のみがアウトになります。

余談ですが、Pythonには標準ライブラリの中にrobots.txtをパースする機能がある(urllib.robotparser)ので、そちらを使ってみてもいいかもしれません。

Comments

[退会済みユーザー]

回答ありがとうございました。
urllib.robotparser なんてのがあるんすね！！ありがとうございます！！みてみます。