[python3]webスクレイピングで特定の文字列をURLから検索

Question

お世話になります。

pythonでwebスクレイピングをしたいのですが、以下の条件が必要となっています。

• 任意のURL（Aとする）と、特定の文字列（Bとする）を指定して実行
• Aを起点としてURLを辿り、Bの文字列が出現されるURLまで最も短時間に検索
• 検索結果のURL経路を出力する

BeautifulSoupを使用しているのですが、リンク先を再帰的に辿りながら、
効率的に検索していく方法がうまく見つけられず困っております。

アドバイス頂けましたら幸いです。
宜しくお願い致します。

Comments

[KojiDoi]

どうしてもpythonでないといけないのでしょうか。こういう処理だとwgetとgrepを使うのがはるかに簡単確実（二行で実現可能）に思えます。

[kachan777]

たしかに、pythonにこだわる必要もないかもしれません。wgetでも検討してみたいとおもいます。

Answer 1

Webページをリンクをたどりながら検索する場合、深さ優先探索してしまうと終わりが見えないので、幅優先探索を方針とすると思います。再帰呼び出しでも書けますがFIFO(first in first out:所謂キュー)を使うと単純なループでも書けます。標準モジュールにqueueがあるのでそれを使ってもよいですが、listでもまぁ書けそうです。

大雑把な構造はこんな雰囲気でどうでしょう。（動かしてないのでおかしな点があったらご容赦）

visited = set()
q = [ ['最初のurl'] ]

while len(q) > 0:
    url_path = q.pop(0)
    url = url_path[-1]
    html = urlのコンテントをgetする
    if htmlに目的の文字列が含まれている:
        print(url_path)
        break
    urls = htmlの中に含まれる外部リンク(url)のリスト
    for url in urls:
        if url not in visited:
            # 未検索のurlをキューへ追加
            visited.add(url)
            q.append(url_path + [url])

実際の検索では

• 特定のドメイン内だけ
• リンクの深さを一定以内に

などの条件を付けたくなると思いますが、それは「キューへ追加」する際に配慮すればよいと思います。

Comments

[kachan777]

アドバイスありがとうございます！
大変勉強になります、試してみようと思います。

[KSwordOfHaste]

url not in dictなんて意味不明な行がありました。url not in visitedの誤りでしたので訂正しました。