BeautifulSoupを用いた要素の取得について

Question

こちらサイトにて、クローリングを行い、「銀スクラップ買取」項目の「Sv1000IG」の値段を定期的に以下の形で取得していました。

silver_purchase = apre_elemnt.select_one('#panel-w5f48b8cd473f7-1-1-1 .strong td').text

しかし、一定期間経つと、id要素の部分#panel-w5f48b8cd473f7-1-1-1が微妙に変更され、クローリングに失敗してしまう現象が発生しました。
現状、id要素が変更されてしまう現象が起きている為、プログラム側で、id要素が変更される度に、idの値を書き換えている状況です。
他の代替出来る方法が見当たらない状況な為、どなたかご助言頂けましたら幸いです。

Answer 1

今回のケースの場合、「Sv1000IG」というテキストがわかっているわけですから、
これを利用して検索してもいいんじゃないかと思います。

silver_purchase = apre_elemnt.select_one('tr:contains("Sv1000IG")').td.text

Comments

[k-g-11]

ご回答ありがとうございます。
ご提示頂きました通りに変更しましたら、該当の値を取得できました。
> silver_purchase = apre_elemnt.select_one('tr:contains("Sv1000IG")').td.text
こちらですが、子要素で検索をかけて、そこに該当する「tr」要素を取得していたといった訳だったのですね...
CSSで「contains」と指定出来る点、また、取得した要素の子要素を「.td」といった形で指定出来る点など、勉強になりました

Answer 2

id要素の部分#panel-w5f48b8cd473f7-1-1-1が微妙に変更され...

上記IDですが、システム側で動的に設定されたように見えるため、スクリプトの実行タイミングによっては前回と異なる値の可能性があります。
ID以外の指定方法(たとえばXPath等)で指定する方が確実かと思います。
以下、参考になりそうな記事です。

• beautifulsoup4 Xpath指定で要素を取得
• Beautiful Soup のfind_all( ) と select( ) の使い方の違い

Comments

[k-g-11]

ご回答ありがとうございます。
id要素が指定できないとなると、少々難しい部分ありますね...
Xpathでどうにか出来ないか、調べてみます。