Python tdタグしか無い場合のスクレイピング方法

Question

Suumo(例えば以下のURL）から家賃と管理費の一覧をpython3.6でスクレイピングしてExcelに落としたいのですが、管理費のセレクタの指定方法がわかりません。
URL
https://suumo.jp/jj/chintai/ichiran/FR301FC001/?ar=090&bs=040&pc=30&smk=&po1=25&po2=99&shkr1=03&shkr2=03&shkr3=03&shkr4=03&rn=7020&ek=702041000&ra=040&cb=0.0&ct=4.5&co=1&md=01&ts=1&ts=2&et=5&mb=0&mt=9999999&cn=9999999&fw2=

家賃の方はソースを見ると
<span class="cassetteitem_other-emphasis ui-text--bold">●●万円</span>
となっているので
soup.select('span[class="cassetteitem_other-emphasis ui-text--bold"]')とすればできたのですが、
管理費はソースを見ても

<td>●●円</td>となっているだけであり、soup.selectの次にどのようにセレクタを記載すれば良いかわかりかねている次第です。

よろしくお願いいたします。

Answer 1

こんにちは。

以下のような感じでどうでしょうか？

1. soup.select を使って <table class="cassetteitem_other"> のデータ行の <tr> を収集
2. 上記1.で集めた各々の <tr> に含まれる、４番目の<td>(賃料)と、5番目の<td>(管理費)の内容を取得

以下のようなコードになります。

for tr in soup.select('table.cassetteitem_other tbody tr'):
    tds = tr.select('td')
    print(tds[3].text, tds[4].text)

動作確認のコードを書いて動かしてみたところ、以下のように出力されました。

3.8万円 2000円
3.9万円 2000円
3.6万円 3000円
3.6万円 -
2.5万円 2000円
2.5万円 2000円
3.5万円 -
4万円 3400円
2.7万円 3000円
3.9万円 3000円
3.9万円 3000円
3.5万円 4000円
3.2万円 2000円
3.2万円 2000円
3.5万円 2000円
3.5万円 2000円
3万円 -
4万円 2000円

以上参考になれば幸いです。

Comments

[kmbaht]

最初にfor文を使ってしまうとExcelへの転記の仕方がわかりませんでしたが、以下のようにすることでできました。
table_all=soup.select('table.cassetteitem_other tbody tr')
for i in range(len(table_all)):
tds=table_all[i].select('td')
sheet.cell(row=i+1,column=2).value=tds[3].text
sheet.cell(row=i+1,column=3).value=tds[4].text

動作確認までして頂き、ご丁寧な回答ありがとうございました。
お手間でなければ追加で質問させていただきたいのですが、ご回答頂いたようにHTMLをある程度素早く読み取れるようにするために参考になる書籍等ご存じないでしょうか？

[jun68ykt]

お役に立てたようで、よかったです。
追加で頂いている、

> ご回答頂いたようにHTMLをある程度素早く読み取れるようにするために参考になる書籍等ご存じないでしょうか？

とのご質問についてですが、このご質問の意図としては、例えば、この「家賃と管理費」のスクレイピングについて言えば、こういうことでしょうか？

「家賃と管理費の一覧を作る」という目的のもとで、対象URLのHTMLを見て、
スクレイピングのプログラムをまだ全く書いてない段階で、初めから、
「CSSセレクタ 'table.cassetteitem_other tbody tr' で、データ行を取ってきて、
　それをループで回して、ループの中で各 <tr> の該当tdのtextを取れば多分いけそう。」
と（ほぼ迷い無く）着想できるようになるためには、何を習得すればよいか？

ということでしょうか？

[kmbaht]

すみません、お返事に気づくのが遅れました。
それもそうですし、今回一番わからなかったのがbs.soup()内のセレクタの書き方なのです。
例えばclass名は「.」の後、tbodyとtrの間はスペースを空けるだけで良い、等です。
セレクタを勉強しろ、と言われればそれまでなのですが、ざっとWebで検索してもなかなか良いサイトが無かったもので。。

[jun68ykt]

こんにちは。ご回答が遅れてすみません。

> セレクタを勉強しろ、と言われればそれまでなのですが、ざっとWebで検索してもなかなか良いサイトが無かったもので。。

とのことですが、私がお勧めするのは以下の書籍

CSS完全ガイド第２版
https://www.amazon.co.jp/dp/487311232X

です。（古本なら１円ですね）

CSS3が登場する前の古い本ですが、これに書いてあるCSSの基本的な考え方は今でも十分通用します。500ページ以上ある大冊ですが、全部読む必要はなくて、kmbahtさんのニーズからすると、読むべき箇所は今でも通用する基礎的な知識が書かれている、以下の章です。

第２章　セレクタ
第３章　構造とカスケード

上記の２つの章（ページ数にすると５０ページ余り）を一度、しかし少し丁寧に読んでおけば、スクレイピングで欲しい要素を特定するCSSセレクタを書くときも困らずセレクタを書けるようになれると思いますし、ちょっと応用的なセレクタを書こうとしてWebで検索するにしても、どういうキーワードで検索すれば的確な情報に早くたどりつけられるかが分かってくるのではないかと思います。

[kmbaht]

ご紹介いただきありがとうございます！
読んでみるようにします

Answer 2

BeautifulSoupでなく、XPathを使えるツールを使えば、
～.xpath('//span[@class="cassetteitem_other-emphasis ui-text--bold"]/../following-sibling::td[1]')
で、次のtdが取れます。
BeautifulSoupではXPathは使えないようです。同様のことが出来るかも知れませんが、使ってないので分かりません。

あとは、見出し行のtrでテキストが「管理費」であるのが何カラム目のtdかを調べて、下のtrで同じカラムのtdを見る。