Web scrapingでURLソースからどのタグを取ればいいかわからない

Question

現在こちらのサイトからWeb Scrapingをしようと考えています。

スクレイピングしたい内容は
下記写真の➀➁➂ですが、

該当する箇所のHTMLコードを見てみると
この情報を取り囲むdivもspanのclassは、他の場所でも使われおり、ここだけ！という特定のclassがありません。
どのClassを使ってこの値を取得すればいいのかわからず困っております。

このような場合、どういうアプローチでスクレイピングすればよろしいのでしょうか。

ソースコードのリンクもこちらに貼っておきます
※WETHとキーワード検索していただくと該当するHTMLの箇所に一発で飛びます。

スクレイピングするコードは下記のような感じで考えています。

for item_elems in soup.select('div.contents'):
        # Shop name
        name_with_html = item_elems.select('a.shop-name')
        for name in name_with_html:
            name=name.getText()

宜しくお願い致します。

Answer 1

Chromeであれば、デバッグコンソールを開いて、 Elements -> 対象のHTMLタグ -> 右クリック -> Copy -> Copy XPathとしてみてください。対象のタグのフルXPathがコピーされると思います。
Chromeのコンソール上でも下記のように確認可能です。

$x('//*[@id="reply-274274"]/div[2]/div/div[2]/div[4]/ul/li[1]') // $xでconsole上でxpathを確認可能

その上で、xpathが長すぎて可読性が悪い等の場合に先に挙げられているようなxpathのリファレンスを見ながらカスタマイズしていけばよろしいかと思います。

[参考] ブラウザ上での確認方法

• Google Chrome
• Firefox

Comments

[trey_0329]

ご回答ありがとうございます。Xpathでうまくできそうです。
Chromeの機能でXpathコピーがあるの知らなかったので、大変助かりました。
また何かございましたら宜しくお願い致します。

Answer 2

一般論で言うと、何番目のxxxノードの何番目の子ノードとか、テキストがxxxであるノードの親の何番目の弟ノードとか。

Comments

[trey_0329]

ご回答ありがとうございます。
何番目のxxxノードの何番目の子ノードとか、テキストがxxxであるノードの親の何番目の弟ノード、について説明しているお勧めのリンクなどございますか？

[otn]

ノードの指定に、CSS記法をお使いのようですが、私は主にXPathを使っています。
https://triple-underscore.github.io/XML/xpath10-ja.html
が、古いバージョン(ver1)のものですが、日本語なのでわかりやすいです。XPath3の日本語リファレンスは見つけていない。
網羅的なリファレンスじゃなくて、断片的な使用例であればQiitaなどの個人ブログにたくさんあります。

[trey_0329]

ご参考文献わざわざありがとうございます。
こちらのほうがだいぶ使いやすそうですね。
非常に助かります。ありがとうございます。